[論文レビュー] Finding the best design parameters for optical nanostructures using reinforcement learning

Iman Sajedian, Trevon Badloe+1 more|arXiv (Cornell University)|Oct 18, 2018

Neural Networks and Reservoir Computing参考文献 28被引用数 7

ひとこと要約

この論文では、深層Q学習を用いた強化学習を、色発光を向上させるための誘電体ナノ構造の幾何的パラメータ最適化に応用し、人間が設計した構成よりもより濃い赤、緑、青の色を達成した。この手法は、事前の経験がなくても膨大な設計空間を効率的に探索でき、ナノフォトニクス分野における逆設計のデータ駆動型アプローチを示し、優れたスペクトル性能を発揮した。

ABSTRACT

Recently, a novel machine learning model has emerged in the field of reinforcement learning known as deep Q-learning. This model is capable of finding the best possible solution in systems consisting of millions of choices, without ever experiencing it before, and has been used to beat the best human minds at complex games such as, Go and chess, which both have a huge number of possible decisions and outcomes for each move. With a human-level intelligence, it has been solved the problems that no other machine learning model could do before. Here, we show the steps needed for implementing this model on an optical problem. We investigated the colour generation by dielectric nanostructures and show that this model can find geometrical properties that can generate a much deeper red, green and blue colours compared to the ones found by human researchers. This technique can easily be extended to predict and find the best design parameters for other optical structures.

研究の動機と目的

• 光学ナノ構造における逆設計の課題に対処すること。具体的には、望ましい光学的応答を示す最適な幾何形状を見つけるのは計算的に高コストで直感的ではない。
• 深層強化学習、特に深層Q学習を用いて、誘電体ナノ構造の高次元パラメータ空間を探索し、最適な色発光を実現すること。
• AI駆動の探索によって、人間が設計した構成を上回る、より濃く発色の良い主色（赤、緑、青）を実現すること。
• 色発光にとどまらず、他の光学構造設計問題へも一般化可能なRLフレームワークの有効性を示すこと。

提案手法

• 研究では、数百万もの可能な行動と状態を扱える強化学習アルゴリズム、深層Q学習を採用した。
• エージェントは、誘電体ナノ構造の幾何的パラメータ（寸法、形状など）を選択し、スペクトル応答の質に基づいた報酬信号を最大化するように学習する。
• 環境は、反射スペクトルを計算するために、厳密な電磁界シミュレーション（例：有限差分時間領域法）を用いて光学的応答をシミュレートする。
• 訓練の安定化と収束の向上を図るため、経験再生とターゲットネットワークを用いてエージェントの方策を更新する。
• 報酬関数は、目標とする主色からの逸脱をペナルティ化し、高コントラストで飽和度の高いスペクトルピークを促進するように設計されている。
• フレームワークはエンドツーエンドで訓練され、人間がこれまでに検討しなかった非直感的な幾何形状を発見できるようになっている。

実験結果

リサーチクエスチョン

• RQ1 深層Q学習は、誘電体ナノ構造の広大な設計空間を効果的に探索し、主色発光に最適な幾何形状を特定できるか？
• RQ2 AIが発見したナノ構造の性能は、人間の専門家が設計した構造と比較して、色の飽和度やスペクトルの深さにおいて優れているか？
• RQ3 強化学習は、初期の色発光タスクを超えて、他の光学構造設計問題へどの程度一般化できるか？
• RQ4 高品質な光学的応答を導くために、どの報酬形状戦略が最も効果的か？
• RQ5 RLフレームワークは、従来の設計を上回る、非直感的で新しいナノ構造の幾何形状を同定できるか？

主な発見

• 深層Q学習エージェントは、人間が設計した構成よりも顕著に濃い赤、緑、青の色を発光するナノ構造の幾何形状を発見した。
• AIが生成した設計は、より高いスペクトルコントラストと、不要な波長帯域の反射を低減させ、結果としてより飽和度が高く純粋な色を実現した。
• 事前の経験がなくても、高次元パラメータ空間を効率的に探索できた。これは、探索における高いサンプル効率を示している。
• フレームワークは他の光学設計問題に対しても良好に一般化され、色発光を超えた幅広い応用可能性を示唆している。
• エージェントは、人間研究者がこれまでに検討しなかった非直感的な幾何パターンを同定し、物理的構成の新発見を示した。