[論文レビュー] End-to-end optical backpropagation for training neural networks.

Xianxin Guo, Thomas D. Barrett+2 more|arXiv (Cornell University)|Dec 23, 2019

Neural Networks and Reservoir Computing被引用数 6

ひとこと要約

本論文は、飽和吸収とポンププローブ方式を用いた新規エンドツーエンド光バックプロパゲーション手法を提案し、ニューラルネットワークの全光学的トレーニングを可能にする。シミュレーションにより、受動的光素子と現実可能な光吸収率を用いて、最先端のディーブラーニングモデルと同等の性能を達成していることが示された。

ABSTRACT

Backpropagation through nonlinear neurons is an outstanding challenge to the field of optical neural networks and the major conceptual barrier to all-optical training schemes. Each neuron is required to exhibit a directionally dependent response to propagating optical signals, with the backwards response conditioned on the forward signal, which is highly non-trivial to implement optically. We propose a practical and surprisingly simple solution that uses saturable absorption to provide the network nonlinearity. We find that the backward propagating gradients required to train the network can be approximated in a pump-probe scheme that requires only passive optical elements. Simulations show that, with readily obtainable optical depths, our approach can achieve equivalent performance to state-of-the-art computational networks on image classification benchmarks, even in deep networks with multiple sequential gradient approximations. This scheme is compatible with leading optical neural network proposals and therefore provides a feasible path towards end-to-end optical training.

研究の動機と目的

• 光ニューラルネットワークにおけるバックプロパゲーションに必要な方向依存で勾配に依存する光学的応答を実装する根本的課題を克服すること。
• アクティブな要素や複雑なフィードバック機構を一切使用せずに、受動的光素子のみを用いて光ニューラルネットワークのエンドツーエンドトレーニングを可能にすること。
• 既存の最先端の光ニューラルネットワークアーキテクチャと互換性があり、スケーラブルなソリューションを開発すること。
• 標準的なベンチマークで、実用的な光吸収率を用いて、計算型ディーブラーニングモデルと同等のトレーニング性能を達成できることを示すこと。

提案手法

• 光ニューロンにおける必要な非線形性を提供するため、飽和吸収を活用し、神経計算に不可欠な強度依存透過を実現すること。
• 後退方向に伝搬する勾配を、フォワード信号によって変調されたプローブビームと飽和吸収体を用いて近似するポンププローブ構成を実装すること。
• トレーニング全体を通じて全光学的動作を維持するために、アクティブなフィードバックや電子制御を一切使用しない受動的光素子のみを用いること。
• 飽和媒体の強度依存吸収を利用することで、フォワード信号に応じたバックワード応答を条件づけること。
• 微分の明示的計算を避けるために、ポンププローブ設定における干渉と強度変調を通じてバックプロパゲート勾配を近似すること。
• 既存の光ニューラルネットワークアーキテクチャと互換性を持たせる設計とし、現在のハードウェア提案への統合を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 受動的で全光学的なシステムは、非線形光ニューロンを通じて勾配のバックプロパゲーションを近似できるか？
• RQ2 飽和吸収は、1つの光学的メカニズムで非線形性と勾配近似の両方を実現するのに十分か？
• RQ3 ポンププローブ方式は、画像分類タスクにおいて、デジタルディーブラーニングモデルと同等のトレーニング性能を達成できるか？
• RQ4 深いアーキテクチャにおいて、効果的な勾配近似とネットワーク収束を達成するために必要な光学的吸収率はどの程度か？
• RQ5 提案手法は、最先端の光ニューラルネットワークハードウェア設計と互換性があるか？

主な発見

• 提案された光バックプロパゲーション方式は、画像分類ベンチマークで最先端の計算型ディーブラーニングモデルと同等の性能を達成した。
• この手法は受動的光素子に完全に依存しており、現在の光技術で実装可能であることが示された。
• 入手可能な光学的吸収率が、正確な勾配近似とネットワークトレーニングを支えるのに十分であることが判明した。
• 複数の連続する勾配近似を経る深いネットワークにおいても、このアプローチは有効であり、誤差蓄積に対して頑健であることが示された。
• 飽和吸収の使用により、1つの物理的メカニズムで非線形性と勾配条件づけの両方を実現でき、光学的アーキテクチャを単純化できた。
• ポンププローブ方式により、アクティブなフィードバックや電子的干渉を必要とせずに、バックワード勾配の実用的近似が可能になった。