[論文レビュー] Interferobot: aligning an optical interferometer by a reinforcement learning agent

Dmitry Sorokin, Alexander E. Ulanov+2 more|arXiv (Cornell University)|Jun 3, 2020

Neural Networks and Reservoir Computing参考文献 29被引用数 5

ひとこと要約

本論文では、干渉縞の単眼カメラ画像のみを用いて、マハーズ・ツェンダー干渉計を自律的に整列する強化学習エージェント、Interferobot を提示する。物理的前提知識や手作業で設計された特徴量を一切用いずに、ランダム化されたシミュレーション環境で訓練されたエージェントは、実際の光学装置においてゼロショット転送を達成し、熟練した人間の専門家を上回る整列速度と安定性を発揮した。

ABSTRACT

Limitations in acquiring training data restrict potential applications of deep reinforcement learning (RL) methods to the training of real-world robots. Here we train an RL agent to align a Mach-Zehnder interferometer, which is an essential part of many optical experiments, based on images of interference fringes acquired by a monocular camera. The agent is trained in a simulated environment, without any hand-coded features or a priori information about the physics, and subsequently transferred to a physical interferometer. Thanks to a set of domain randomizations simulating uncertainties in physical measurements, the agent successfully aligns this interferometer without any fine tuning, achieving a performance level of a human expert.

研究の動機と目的

• 実験的光学分野における時間と精度が求められるマハーズ・ツェンダー干渉計の整列作業を自動化すること。
• 実世界のロボットシステムで強化学習エージェントを訓練する際のデータ効率性と安全性の課題に対処するため、シミュレーションベースの訓練を用いること。
• 手作業で設計された特徴量や物理的前提知識に依存しないエンドツーエンドのビジョンベースの強化学習方策を訓練すること。
• ドメインランダマイゼーションを用いて、シミュレーションから実ハードウェアへのゼロショット転送を可能にし、高価なファインチューニングを回避すること。
• 再訓練や手動介入なしに、多様な光学的セットアップに一般化可能なフレームワークを実証すること。

提案手法

• マハーズ・ツェンダー干渉計の光学的物理をモデル化したシミュレーション環境で、ディープ強化学習エージェントを訓練する。
• エージェントの唯一の観測入力として、干渉縞の単眼カメラ画像を用い、手作業で設計された特徴量を一切使用しない。
• 実世界の不確実性をシミュレートするためにドメインランダマイゼーション技術を適用：ビーム半径、明るさ、ホワイトノイズ、デューティーサイクル／トラッキング時間のランダム化。
• 可視度を密な報酬信号として用い、プロキシマルポリシー最適化（PPO）アルゴリズムを用いてエージェントを訓練する。
• ミラーの角度を調整する際、ビームの中心位置と傾きの両方に同時に影響を与える非直交な行動空間を最適化する。
• 訓練中に実世界との相互作用を一切行わず、訓練されたポリシーを物理的干渉計に直接転送する。

実験結果

リサーチクエスチョン

• RQ1 視覚ベースの強化学習エージェントは、光学的物理の知識や手作業で設計された特徴量を事前に持たずに、実世界のマハーズ・ツェンダー干渉計を整列させることができるか？
• RQ2 シミュレーションにおけるドメインランダマイゼーションは、実際の光学的セットアップへの強化学習ポリシーのゼロショット転送をどの程度可能にするか？
• RQ3 整列速度と最終的な可視度の観点から、強化学習エージェントの性能は人間の専門家と比べてどの程度優れているか？
• RQ4 ドメインランダマイゼーションのどの要素が、光学的整列タスクにおけるシミュレーションから実世界への転送に最も重要か？
• RQ5 このアプローチは、再訓練なしに他の干渉計構成に一般化可能か？

主な発見

• Interferobot エージェントは、物理的干渉計で平均可視度 0.96 ± 0.02 を達成し、熟練した人間の専門家と同等の性能を発揮した。
• エージェントはファインチューニング段階で人間の専門家を上回り、最大可視度に到達するまでの時間が短く、最終段階での振動も少なかった。
• アブレーションスタディの結果、半径のランダマイゼーションとホワイトノイズの追加が最も重要なドメインランダマイゼーション要因であり、それぞれを削除すると平均可視度が 0.74 および 0.82 に低下した。
• エージェントは、ファインチューニングなしにシミュレーションから実世界へ成功裏に転送され、強力なゼロショット一般化を示した。
• ポリシーは直感的ではないジグザグ整列戦略を学習した—意図的にビームをずらしてビーム中心のオフセットを分離・補正する戦略であり、視覚的解釈に依存する人間の戦略を上回った。
• この手法は、システム固有のパrameter に依存しない視覚的観測に基づいているため、他の干渉計タイプや構成にも一般化可能である。