[論文レビュー] ALL-OPTICAL NONLINEAR ACTIVATION FUNCTION FOR PHOTONIC NEURAL NETWORKS

Mario Miscuglio, Armin Mehrabian+6 more|arXiv (Cornell University)|Jan 1, 2018

Neural Networks and Reservoir Computing参考文献 17被引用数 32

ひとこと要約

本論文は、金ナノロッド-量子ドットヘテロ構造におけるプラズモン-エキシトン Fano 共鳴および C60 膜における逆スチュアレーション吸収を用いた、光子ニューラルネットワークの全光的非線形活性化関数を提案する。それぞれ3 dBおよび7 dBの消光比を達成し、MNIST ディジット分類において97%およびほぼ100%の精度を実現した。これは、ピコ秒未満の計算速度と、電子的または電光的代替手法に比べて数個のオーダー高いエネルギー効率を有する全光的ニューラルネットワークの可能性を示している。

ABSTRACT

With the recent successes of neural networks (NN) to perform machine-learning tasks, photonic-based NN designs may enable high throughput and low power neuromorphic compute paradigms since they bypass the parasitic charging of capacitive wires. Thus, engineering data-information processors capable of executing NN algorithms with high efficiency is of major importance for applications ranging from pattern recognition to classification. Our hypothesis is therefore, that if the time-limiting electro-optic conversion of current photonic NN designs could be postponed until the very end of the network, then the execution time of the photonic algorithm is simple the delay of the time-of-flight of photons through the NN, which is on the order of picoseconds for integrated photonics. Exploring such all-optical NN, in this work we discuss two independent approaches of implementing the optical perceptrons nonlinear activation function based on nanophotonic structures exhibiting i) induced transparency and ii) reverse saturated absorption. Our results show that the all-optical nonlinearity provides about 3 and 7 dB extinction ratio for the two systems considered, respectively, and classification accuracies of an exemplary MNIST task of 97% and near 100% are found, which rivals that of software based trained NNs, yet with ignored noise in the network. Together with a developed concept for an all-optical perceptron, these findings point to the possibility of realizing pure photonic NNs with potentially unmatched throughput and even energy consumption for next generation information processing hardware.

研究の動機と目的

• 電子的および電光的ニューラルネットワークの速度およびエネルギー効率の限界を克服するため、光子集積回路における全光的計算を可能にする。
• 電子変換を回避する真の全光的ニューラルネットワーク（AONN）を構築する。これにより、RC遅延および高消費電力のインターコネクトを排除する。
• ナノフォトニクス構造における光-物質相互作用を用いて非線形活性化関数を実装し、高速かつ低消費電力のニューロモルフィックコンピューティングを実現する。
• 全光的活性化関数が、MNIST などの標準ベンチマークでソフトウェアでトレーニングされたニューラルネットワークと同等の性能を達成できることを実証する。

提案手法

• 金ナノロッドと量子ドット（QD）からなるプラズモニック-エキシトニック系における光-物質相互作用をモデル化するため、有限差分時間領域（FDTD）シミュレーションを用いる。
• アダプティブメッシュリファインメントを備えた3次元 FDTD ソルバを用いて、入射光強度を変化させた場合の MNP/QD 系の非線形光学的応答をシミュレートする。
• キャリア動態および非線形吸収ダイナミクスを組み込んだ特許取得済みの FDTD-ADE 多物理場コードを用いて、C60 膜における逆スチュアレーション吸収（RSA）をモデル化する。
• 非線形応答を光子集積回路（PIC）アーキテクチャに統合し、10 µm 未満の長さの波ガイドプラットフォームで活性化関数を実現する。
• TensorFlow を用いて全光的パーセプトロンをエミュレートし、シミュレートされた非線形応答を完全結合ニューラルネットワーク内の活性化関数として使用する。
• 物理的部品の長さおよび有効な屈折率に基づいてネットワーク性能を推定し、ピコ秒未満の計算遅延および 10^16 MAC/J を超えるエネルギー効率を予測する。

実験結果

リサーチクエスチョン

• RQ1 強い光-物質相互作用を示すナノフォトニクス材料を用いた統合光子回路で、全光的非線形活性化関数を実現できるか？
• RQ2 プラズモニック-エキシトニックヘテロ構造における Fano 共鳴に基づく全光的活性化関数の実現可能な消光比および変調深度は何か？
• RQ3 C60 膜における逆スチュアレーション吸収は、ニューラルネットワークの活性化に実用的かつ効率的な全光的非線形応答を提供できるか？
• RQ4 全光的ニューラルネットワークの性能は、速度およびエネルギー効率の観点から、従来の電子的または電光的ニューラルネットワークと比べてどうなるか？
• RQ5 全光的活性化関数は、MNIST などの標準ベンチマークでソフトウェアでトレーニングされたニューラルネットワークと同等の分類精度を達成できるか？

主な発見

• Fano 共鳴に基づくシステムは、非線形光学的応答で3 dBの消光比を達成し、透過信号の有効な変調を可能にした。
• C60 を用いた逆スチュアレーション吸収システムは、7 dBの消光比を示し、より強い非線形変調能力を示した。
• 両システムとも、推定計算速度が 10^12 MAC/s の全光的ニューラルネットワーク動作を可能にした。これは光子の伝搬時間によって制限される。
• 全光的ニューラルネットワークは、Fano 共鳴ベースの活性化関数を用いて MNIST データセットで97%の分類精度を達成し、C60 ベースのシステムではほぼ100%の精度を達成した。
• 提案された AONN アーキテクチャは、エネルギー効率が 10^16 MAC/J を超えると推定され、現在の GPU や電光的ニューラルネットワークを複数のオーダー上回る。
• 結果として、全光的活性化関数が、光の基本的な速度および効率の限界に達する一方で、従来のソフトウェアでトレーニングされたネットワークと同等の性能を達成できることを示した。