[논문 리뷰] Finding the best design parameters for optical nanostructures using reinforcement learning

Iman Sajedian, Trevon Badloe외 1명|arXiv (Cornell University)|2018. 10. 18.

Neural Networks and Reservoir Computing참고 문헌 28인용 수 7

한 줄 요약

이 논문은 깊이 강화학습 기반의 Q학습을 활용해 광학적 색채 생성을 향상시키기 위해 유전적 나노구조의 기하학적 매개변수를 최적화한다. 인간이 설계한 구성보다 더 진한 빨강, 초록, 파랑 색상을 구현하며, 사전 경험 없이 광범위한 설계 공간을 효율적으로 탐색함으로써 나노광학 분야에서 데이터 기반의 역설계 접근법을 제시한다.

ABSTRACT

Recently, a novel machine learning model has emerged in the field of reinforcement learning known as deep Q-learning. This model is capable of finding the best possible solution in systems consisting of millions of choices, without ever experiencing it before, and has been used to beat the best human minds at complex games such as, Go and chess, which both have a huge number of possible decisions and outcomes for each move. With a human-level intelligence, it has been solved the problems that no other machine learning model could do before. Here, we show the steps needed for implementing this model on an optical problem. We investigated the colour generation by dielectric nanostructures and show that this model can find geometrical properties that can generate a much deeper red, green and blue colours compared to the ones found by human researchers. This technique can easily be extended to predict and find the best design parameters for other optical structures.

연구 동기 및 목표

• 원하는 광학적 반응을 얻기 위해 최적의 기하학적 구조를 찾는 것이 계산적으로 비용이 많이 들고 직관적이지 않은 나노광학 나노구조의 역설계 문제를 해결하기 위해.
• 고차원적인 매개변수 공간에서 최적의 색채 생성을 위해 깊이 강화학습, 특히 깊이 Q학습을 적용하여 유전적 나노구조의 기하학적 매개변수를 탐색하기 위해.
• 인간이 설계한 구성보다 더 진하고 포화도가 높은 주요 색상(빨강, 초록, 파랑)을 달성하기 위해 인공지능 기반 탐색을 통해 슈퍼리어한 스펙트럼 성능을 달성하기 위해.
• 초기 색채 생성 작업을 넘어서 다른 광학 구조 설계 문제에까지 일반화 가능한 강화학습 프레임워크의 타당성을 입증하기 위해.

제안 방법

• 이 연구는 수백만 개의 가능한 행동과 상태를 처리할 수 있는 강화학습 알고리즘인 깊이 Q학습을 활용한다.
• 에이전트는 스펙트럼 반응 품질 기반의 보상 신호를 최대화하기 위해 유전적 나노구조의 기하학적 매개변수(예: 치수, 형상)를 선택하는 데 학습한다.
• 환경는 광학적 반응을 정밀한 전자기 시뮬레이션(예: 유한차분시간영역 방법)을 사용해 시뮬레이션하여 반사 스펙트럼을 계산한다.
• 훈련의 안정성과 수렴성을 향상시키기 위해 경험 재생과 타겟 네트워크를 사용해 에이전트의 정책을 업데이트한다.
• 보상 함수는 목표 주요 색상에서의 편차를 처벌하고, 고대비, 높은 포화도의 스펙트럼 피크를 선호하도록 설계된다.
• 프레임워크는 엔드 투 엔드로 훈련되어 인간이 설계하지 않은 비직관적인 기하학적 구조를 발견할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 Q학습은 주요 색채 생성을 위한 유전적 나노구조의 광범위한 설계 공간을 효과적으로 탐색하여 최적의 기하학적 구조를 찾을 수 있는가?
• RQ2 인간 전문가가 설계한 것과 비교해 인공지능이 발견한 나노구조의 색상 포화도와 스펙트럼 깊이 측면에서 성능은 어떠한가?
• RQ3 강화학습이 초창기 색채 생성 작업을 넘어서 다른 광학 구조 설계 문제에 얼마나 잘 일반화되는가?
• RQ4 고품질 광학적 반응을 유도하기 위해 가장 효과적인 보상 형상 전략은 무엇인가?
• RQ5 강화학습 프레임워크는 기존에 인간 연구자들이 탐색하지 않은 새로운 비직관적인 나노구조 기하학적 패턴을 식별할 수 있는가?

주요 결과

• 딥 Q학습 에이전트는 인간이 설계한 구성보다 빨강, 초록, 파랑 색상이 훨씬 더 진한 나노구조 기하학적 구조를 발견하였다.
• AI가 생성한 설계는 더 높은 스펙트럼 대비와 더 낮은 비대역 반사율을 달성하여 더 포화도가 높고 순수한 색상을 구현하였다.
• 사전 경험 없이도 고차원적 매개변수 공간을 성공적으로 탐색하여 탐색의 샘플 효율성이 입증되었다.
• 프레임워크는 다른 광학 설계 문제로도 잘 일반화되어 색채 생성을 넘어서도 넓은 적용 가능성을 보였다.
• 에이전트는 인간 연구자들이 이전에 탐색하지 않은 비직관적인 기하학적 패턴을 식별하여 새로운 물리적 구성이 발견되었음을 시사하였다.