[論文レビュー] Scalable photonic reinforcement learning by time-division multiplexing of laser chaos

Makoto Naruse, Takatomo Mihana+5 more|arXiv (Cornell University)|Mar 26, 2018

Neural Networks and Reservoir Computing被引用数 7

ひとこと要約

本稿では、超短パルスレーザーの混沌状態を時間分割多重化することで、スケーラブルな光子強化学習システムを提案し、マルチアームバンディット問題を解決する。半導体レーザーの高帯域、混沌状態のダイナミクスを活用することで、最大64本のアームに対してパイプライン化された意思決定が可能となり、実験的検証を通じて、さまざまな物理的条件下でも効率的な探索と活用のトレードオフが実現された。

ABSTRACT

Reinforcement learning involves decision making in dynamic and uncertain environments and constitutes a crucial element of artificial intelligence. In our previous work, we experimentally demonstrated that the ultrafast chaotic oscillatory dynamics of lasers can be used to solve the two-armed bandit problem efficiently, which requires decision making concerning a class of difficult trade-offs called the exploration-exploitation dilemma. However, only two selections were employed in that research; thus, the scalability of the laser-chaos-based reinforcement learning should be clarified. In this study, we demonstrated a scalable, pipelined principle of resolving the multi-armed bandit problem by introducing time-division multiplexing of chaotically oscillated ultrafast time-series. The experimental demonstrations in which bandit problems with up to 64 arms were successfully solved are presented in this report. Detailed analyses are also provided that include performance comparisons among laser chaos signals generated in different physical conditions, which coincide with the diffusivity inherent in the time series. This study paves the way for ultrafast reinforcement learning by taking advantage of the ultrahigh bandwidths of light wave and practical enabling technologies.

研究の動機と目的

• 先行のレーザー混沌状態に基づく強化学習のスケーラビリティの制限、特に2つの選択肢に限定されていた点を解消すること。
• 超高速な光子ダイナミクスを用いて、動的かつ不確実な環境において効率的でパイプライン化された意思決定を実現すること。
• 混沌状態のレーザー信号の時間分割多重化を用いて、大規模なマルチアームバンディット問題を解く可能性を実証すること。
• 物理的条件の違いが混沌状態時間系列の拡散度に与える影響を分析し、それを時間系列の拡散度と関連付けること。
• 光技術を用いた超高速でハードウェア加速された強化学習の基盤を構築すること。

提案手法

• 時間分割多重化を用いて、レーザー混沌状態信号を複数のバンディットアームに逐次割り当て、パイプライン方式で並列な意思決定処理を実現する。
• 半導体レーザーから得られる超高速な混沌状態の振動を、強化学習の確率的探索信号として活用する。
• 混沌状態信号の時間的相関に基づく学習ルールを実装し、探索と活用のバランスを取る。
• 光波の内在的高帯域性を活用して、ナノ秒未塔の意思決定サイクルを達成する。
• 4〜64本のアームを有するバンディット問題において、収束速度と成功確率を測定することで性能を評価する。
• レーザー系の異なる物理的条件を変化させ、信号の拡散度および学習性能への影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 レーザー混沌状態に基づく強化学習は、2本のアームを越えてスケーリング可能であり、大規模なマルチアームバンディット問題を処理できるか？
• RQ2 混沌状態信号の時間分割多重化は、強化学習におけるパイプライン化・スケーラブルな意思決定をどのように可能にするか？
• RQ3 レーザー系の物理的パrameterと、得られる混沌状態時間系列の拡散度との関係は何か？
• RQ4 信号の拡散度は、光子強化学習システムの学習性能にどのように影響を与えるか？
• RQ5 超高速な光子システムは、意思決定速度とスケーラビリティの面で、従来の電子的実装を上回ることができるか？

主な発見

• 本システムは、レーザー混沌状態の時間分割多重化を用いて、最大64本のアームを有するマルチアームバンディット問題を成功裏に解消した。
• 実験結果から、理論的分析が示した通り、学習性能が混沌状態時間系列の拡散度と強く相関していることが明らかになった。
• 異なる物理的条件下で生成されたレーザー混沌状態信号は、それぞれ異なる拡散度を示し、これが学習効率および収束速度に直接的な影響を与えた。
• 光信号の超高帯域性を活用することで、スケーラブルかつパイプライン化された強化学習が実現された。
• システムの性能は、さまざまな物理的条件下でも一貫しており、レーザーのパrameterの変動に対して高いロバスト性を示した。
• 結果は、光子の混沌状態を用いた超高速でスケーラブルな強化学習の実現可能性を裏付けた。