[논문 리뷰] Interferobot: aligning an optical interferometer by a reinforcement learning agent

Dmitry Sorokin, Alexander E. Ulanov외 2명|arXiv (Cornell University)|2020. 06. 03.

Neural Networks and Reservoir Computing참고 문헌 29인용 수 5

한 줄 요약

이 논문은 단일 카메라로 촬영한 간섭 무늬 영상만을 사용하여 마흐-체른더 간섭계를 자동으로 정렬하는 강화학습 에이전트인 Interferobot을 제시한다. 물리학적 전제나 수작업으로 만든 특징 없이 랜덤화된 시뮬레이션 환경에서 훈련된 에이전트는 실제 광학 장치에서 제로샷 전이를 통해 전문가 수준의 정렬 성능을 달성하였으며, 정밀 조정 속도와 안정성에서 인간 전문가를 능가한다.

ABSTRACT

Limitations in acquiring training data restrict potential applications of deep reinforcement learning (RL) methods to the training of real-world robots. Here we train an RL agent to align a Mach-Zehnder interferometer, which is an essential part of many optical experiments, based on images of interference fringes acquired by a monocular camera. The agent is trained in a simulated environment, without any hand-coded features or a priori information about the physics, and subsequently transferred to a physical interferometer. Thanks to a set of domain randomizations simulating uncertainties in physical measurements, the agent successfully aligns this interferometer without any fine tuning, achieving a performance level of a human expert.

연구 동기 및 목표

• 실험 광학 분야에서 시간이 많이 소요되고 정밀도가 요구되는 마흐-체른더 간섭계의 정렬을 자동화한다.
• 실제 로봇 시스템에서 강화학습 에이전트를 훈련할 때의 데이터 효율성과 안전성 문제를 해결하기 위해 시뮬레이션 기반 훈련을 사용한다.
• 수작업으로 만든 특징이나 물리학 전제에 의존하지 않고, 엔드 투 엔드 비전 기반 강화학습 정책을 훈련시킨다.
• 도메인 랜덤라이제이션을 통해 시뮬레이션에서 실제 하드웨어로의 제로샷 전이를 가능하게 하여 비용이 많이 드는 정밀 조정을 피한다.
• 재훈련이나 수동 조작 없이 다양한 광학 장치에 적용 가능한 일반화 가능한 프레임워크를 구현한다.

제안 방법

• 마흐-체른더 간섭계의 광학 물리학을 모델링하는 시뮬레이션 환경에서 딥 강화학습 에이전트를 훈련시킨다.
• 에이전트의 유일한 관측 입력으로 간섭 무늬의 단일 카메라 영상을 사용하며, 수작업으로 만든 특징은 전혀 사용하지 않는다.
• 실제 환경의 불확실성을 시뮬레이션하기 위해 도메인 랜덤라이제이션 기법을 적용한다: 빔 반지름, 밝기, 화이트 노이즈, 듀티 사이클/트래킹 시간의 랜덤라이제이션.
• 보기 밀도를 밀도 보상 신호로 사용하여 프록시 페리오드 최적화(PPO) 알고리즘을 사용해 에이전트를 훈련시킨다.
• 거울 각도 조정이 동시에 빔 중심과 기울기를 영향을 주는 비직교 행동 공간을 탐색하도록 에이전트의 정책을 최적화한다.
• 훈련 중 실제 상호작용 없이도 실제 간섭계에 직접 훈련된 정책을 전이한다.

실험 결과

연구 질문

• RQ1 비전 기반 강화학습 에이전트는 광학 물리학에 대한 사전 지식이나 수작업 특징 없이 실제 마흐-체른더 간섭계를 정렬할 수 있는가?
• RQ2 시뮬레이션에서 도메인 랜덤라이제이션을 얼마나 잘 적용하면 강화학습 정책을 실제 광학 장치로 제로샷 전이할 수 있는가?
• RQ3 정렬 속도와 최종 간섭도 측면에서 인간 전문가와 비교해 강화학습 에이전트의 성능는 어떠한가?
• RQ4 시뮬레이션에서 실제 전이 성공에 가장 중요한 도메인 랜덤라이제이션 구성 요소는 무엇인가?
• RQ5 이 방법은 재훈련 없이도 다른 광학 간섭계 구성에 일반화 가능한가?

주요 결과

• Interferobot 에이전트는 실제 간섭계에서 평균 간섭도 0.96 ± 0.02를 기록하여 숙련된 인간 전문가의 성능과 동일했다.
• 에이전트는 정밀 조정 단계에서 인간 전문가를 능가하여 최대 간섭도에 더 빨리 도달했으며, 최종 정렬 단계에서 진동 수가 적었다.
• 제거 실험에서 빔 반지름 랜덤라이제이션과 화이트 노이즈 추가가 가장 중요한 도메인 랜덤라이제이션 구성 요소로 밝혀졌으며, 이들을 제거했을 경우 평균 간섭도는 각각 0.74와 0.82로 떨어졌다.
• 에이전트는 정밀 조정 없이도 시뮬레이션에서 실제 세계로의 전이를 성공적으로 수행하여 강력한 제로샷 일반화 능력을 입증했다.
• 에이전트는 인간 전략이 시각적 해석에 의존하는 것과는 달리, 의도적으로 빔을 잘못 정렬하여 중심 오프셋을 고립하고 보정하는 비직관적인 진자형 정렬 전략을 학습했다. 이 전략은 인간 전략을 능가했다.
• 이 방법은 시스템 전용 매개변수에 의존하지 않으며, 시각적 관측에 기반하기 때문에 다른 간섭계 유형과 구성에 일반화 가능하다.