[논문 리뷰] Scalable photonic reinforcement learning by time-division multiplexing of laser chaos

Makoto Naruse, Takatomo Mihana외 5명|arXiv (Cornell University)|2018. 03. 26.

Neural Networks and Reservoir Computing인용 수 7

한 줄 요약

이 논문은 초고속 레이저 혼돈을 시간 분할 다중화 방식으로 활용하여 다수의 손잡이가 있는 밴딧 문제를 해결하는 확장 가능한 광학 강화학습 시스템을 제안한다. 반도체 레이저의 고대역, 혼돈적인 동역학을 활용함으로써 최대 64개의 손잡이에서 파ipel라인 방식의 결정을 가능하게 하여 실험적 검증을 통해 다양한 물리 조건에서 효율적인 탐색-이용 균형을 실현한다.

ABSTRACT

Reinforcement learning involves decision making in dynamic and uncertain environments and constitutes a crucial element of artificial intelligence. In our previous work, we experimentally demonstrated that the ultrafast chaotic oscillatory dynamics of lasers can be used to solve the two-armed bandit problem efficiently, which requires decision making concerning a class of difficult trade-offs called the exploration-exploitation dilemma. However, only two selections were employed in that research; thus, the scalability of the laser-chaos-based reinforcement learning should be clarified. In this study, we demonstrated a scalable, pipelined principle of resolving the multi-armed bandit problem by introducing time-division multiplexing of chaotically oscillated ultrafast time-series. The experimental demonstrations in which bandit problems with up to 64 arms were successfully solved are presented in this report. Detailed analyses are also provided that include performance comparisons among laser chaos signals generated in different physical conditions, which coincide with the diffusivity inherent in the time series. This study paves the way for ultrafast reinforcement learning by taking advantage of the ultrahigh bandwidths of light wave and practical enabling technologies.

연구 동기 및 목표

• 이전의 레이저 혼돈 기반 강화학습의 확장성 한계를 해결하기 위해 두 가지 선택지에 국한된 제약을 제거한다.
• 초고속 광학 동역학을 활용해 동적인 불확실한 환경에서 효율적이고 파이프라인 방식의 결정을 가능하게 한다.
• 혼돈 레이저 신호의 시간 분할 다중화를 통해 대규모 다수의 손잡이 밴딧 문제를 해결할 수 있음을 입증한다.
• 레이저 시스템의 다양한 물리 조건에서의 성능을 분석하고, 이를 시간 시리즈의 확산성과 연관시킨다.
• 광학 기술을 활용한 초고속 하드웨어 가속 강화학습의 기반을 마련한다.

제안 방법

• 시간 분할 다중화를 사용하여 레이저 혼돈 신호를 다수의 밴딧 손잡이에 순차적으로 할당함으로써 파이프라인 방식의 병렬 결정 처리를 가능하게 한다.
• 반도체 레이저에서 유도된 초고속 혼돈 진동을 강화학습의 확률적 탐색 신호로 활용한다.
• 혼돈 신호의 시간적 상관관계에 기반한 학습 규칙을 구현하여 탐색과 이용의 균형을 유지한다.
• 빛 파동의 내재된 고대역 특성을 활용해 1나노초 이내의 결정 주기 달성을 달성한다.
• 4개에서 64개의 손잡이를 가진 밴딧 문제에서 수렴 속도와 성공률을 측정하여 성능을 평가한다.
• 레이저 시스템의 다양한 물리 조건을 변화시켜 신호의 확산성과 학습 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 레이저 혼돈 기반 강화학습은 두 개의 손잡이를 초월하여 대규모 다수의 손잡이 밴딧 문제를 해결할 수 있는가?
• RQ2 혼돈 신호의 시간 분할 다중화 방식은 강화학습에서 파이프라인화되고 확장 가능한 결정을 어떻게 가능하게 하는가?
• RQ3 레이저 시스템의 물리적 파rameter와 그로 생성된 혼돈 시간 시리즈의 확산성 사이의 관계는 무엇인가?
• RQ4 신호의 확산성이 광학 강화학습 시스템의 학습 성능에 어떤 영향을 미치는가?
• RQ5 초고속 광학 시스템은 결정 속도와 확장성 측면에서 기존 전자 구현 방식을 능가할 수 있는가?

주요 결과

• 시간 분할 다중화를 통한 레이저 혼돈을 활용하여 최대 64개의 손잡이를 가진 다수의 손잡이 밴딧 문제를 성공적으로 해결하였다.
• 실험 결과, 이론적 분석에서 예측한 바와 같이 학습 성능이 혼돈 시간 시리즈의 확산성과 강하게 상관관계를 보였다.
• 다양한 물리 조건에서 생성된 레이저 혼돈 신호는 서로 다른 확산 수준을 보였으며, 이는 직접적으로 학습 효율성과 수렴 속도에 영향을 주었다.
• 광신호의 초고대역 특성을 활용함으로써 확장 가능하고 파이프라인 방식의 강화학습을 달성하였다.
• 레이저 파rameter의 변동에 대해 시스템 성능이 일관되게 유지되어 레이저 파rameter 변동에 대한 강건성을 보였다.
• 결과적으로 광학적 혼돈을 활용한 초고속이고 확장 가능한 강화학습의 실현 가능성을 입증하였다.