[論文レビュー] Nanophotonic Media for Artificial Neural Inference

Erfan Khoram, Ang Chen+5 more|arXiv (Cornell University)|Oct 17, 2018

Neural Networks and Reservoir Computing参考文献 15被引用数 11

ひとこと要約

本稿では、波長未満の散乱および非線形波動ダイナミクスを通じて人工ニューラルネットワークの推論を実行する、被動的で超高密度な光学的ニューラルネットワークとしてのナノフォトニクス媒体を提案する。入力画像を空間的光強度パターンとして符号化することで、特定の出力位置におけるエネルギー集中によって画像認識が行われ、80λ × 20λのコンactな断面を有する2次元シミュレーションで79%を超える正確性を達成した。

ABSTRACT

We show optical waves passing through a nanophotonic medium can perform artificial neural computing. Complex information, is encoded in the wave front of an input light. The medium transforms the wave front to realize sophisticated computing tasks such as image recognition. At the output, the optical energy is concentrated to well-defined locations, which for example can be interpreted as the identity of the object in the image. These computing media can be as small as tens of wavelengths and offer ultra-high computing density. They exploit sub-wavelength scatterers to realize complex input output mapping beyond the capabilities of traditional nanophotonic devices.

研究の動機と目的

• 波動伝播を用いたナノ構造媒体における人工ニューラルネットワーク推論を実行する、被動的でエネルギー効率の高い光学的コンピューティングプラットフォームの開発を目的とする。
• 層状で順方向の光学的ニューラルネットワークの限界を克服し、波の干渉と散乱を通じて連続的で層なしの計算を可能にする。
• 複雑で非線形な入出力マッピング（ニューラルネットワークの層に相当）が、単一の媒体内でのエンジニアリングされた波長未満の散乱体によって実現可能であることを示す。
• ナノフォトニクス構造内の原子スケールの材料変動に起因する無限の自由度を活用することで、高密度なコンピューティングを実現する。
• マクスウェル方程式における不規則性と波動物理学が、強固でアナログなニューラルコンピューティングの基盤として有効である可能性を検討する。

提案手法

• ナノフォトニクスニューラル媒体（NNM）は、例えばSiO₂のようなホスト材料に、例えば空洞のような波長未満のインクルージョンを配置することで、強力な前向および逆方向散乱を生じさせ、ANNにおける線形行列乗算を模倣する。
• インクルージョンの空間的配置と幾何学的形状が学習可能な重みパrameterとして機能し、その波長未満のサイズが超高密度なコンピューティングを可能にする。
• 非線形活性化は、染料半導体やグラフェンの飽和吸収体のような材料を用いて実装され、強度依存応答を通じてReLUに類似した非線形性を模倣する。
• システムは、非線形波動方程式をFDFD法を用いて繰り返し解くことで収束するように、修正されたミニバッチ確率的勾配降下法（SGD）アルゴリズムで訓練される。
• 入力画像は、入射光の2次元強度プロファイルとして符号化され、出力は媒体の出口面における空間的エネルギー分布として得られ、分類はピーク強度位置によって決定される。
• 数値アーチファクトを最小限に抑えるために、PMLを用いて境界条件を慎重に設定し、λ = 1μmでシミュレーションが実施され、空間分解能は2次元でλ/20、3次元でλ/5である。

実験結果

リサーチクエスチョン

• RQ1 不規則でナノ構造化された媒体内におけるマクスウェル方程式に従う波動ダイナミクスが、層状アーキテクチャを用いずに、複雑な人工ニューラルネットワーク推論を実行できるか？
• RQ2 単一の媒体内に配置された波長未満の散乱体と非線形材料が、デジタルニューラルネットワークの複数の層の機能をどの程度模倣できるか？
• RQ3 光の反射を介したフィードバック統合が、ナノフォトニクスシステムにおける連続的で層なしの計算メカニズムを可能にするか？
• RQ4 製造に配慮した設計ルールに制約を受ける場合、このような被動的でアナログな光学的ニューラルネットワークで達成可能な正確性はどの程度か？
• RQ5 不規則な媒体の内在的波動物理学、例えば干渉や局在化が、ニューラルコンピューティング性能の向上または安定化に活用可能か？

主な発見

• ナノフォトニクスニューラル媒体（NNM）は、80λ × 20λの2次元媒体を用いて、1,000個の手書き数字から成るテストセットで79%を超える画像認識正確性を達成した。
• 製造上の制約により、媒体が密でスパースでない構成に制限されるものの、最適化された散乱と非線形応答のおかげで意味のある分類性能が得られた。
• 異なる入力パターン（例：2つの異なる手書きの「2」）は異なる内部場分布を生じるが、両者とも同じ出力ホットスポットに収束し、正しく「2」と識別された。
• システムは入力変動に対して強健であることが示された：2つの異なる「8」の数字は異なる内部場を生じるが、両者とも同じ正しく特定された出力ホットスポットに到達した。
• ミニバッチSGDを用いた訓練プロセスは、2次元でバッチサイズ100、3次元でバッチサイズ50で効率的に収束し、学習率は2次元で500（2エポック後に低下）、3次元で30であった。
• 2次元NNMの誤り行列は、対角成分が強く、1つの数字あたり10個のテストサンプルを含むことから、正確な分類と低誤分類率を確認した。