[論文レビュー] High speed and reconfigurable optronic neural network with digital nonlinear activation

Qiuhao Wu, Jia Liu+3 more|arXiv (Cornell University)|Mar 14, 2021

Neural Networks and Reservoir Computing参考文献 38被引用数 2

ひとこと要約

本論文では、4fシステムとデジタル非線形活性化を用いた高速で再構成可能な自由空間光オプトニクスニューラルネットワークを提案する。MNISTデータセットでわずか3層で93.66%の精度を達成した。本システムはDMDと位相のみのSLMを用いて重みとバイアスをプログラムし、低空間的複雑性とエネルギー効率に優れた高速でスケーラブルでプログラマブルな光起算論理を実現する。

ABSTRACT

With its unique parallel processing capability, optical neural network has shown low-power consumption in image recognition and speech processing. At present, the manufacturing technology of programmable photonic chip is not mature, and the realization of optical neural network in free-space is still a hot spot of intelligent optical computing. In this article, based on MNIST datasets and 4f system, three-layer optical neural networks are constructed, whose recognition accuracy can reach 93.66%. Our network is programmable, high speed, reconfigurable and is better than the existing free-space optical neural network in terms of spatial complexity.

研究の動機と目的

• 固定型回折的またはハイブリッド光電子系の制限を克服する高速で再構成可能な光ニューラルネットワークの開発。
• 自由空間光ニューラルネットワークにおける空間的複雑性の低減とスケーラビリティの向上。
• デジタル非線形活性化とプログラマブルな光コンポONENTを活用し、3層のみで高い認識精度を達成すること。
• リアルタイム知能的光コンピューティングに適した低遅延かつ低消費電力のシステムの実証。

提案手法

• ネットワークは4f光学系を用いてフーリエ変換による行列乗算を実行し、効率的な空間的畳み込みを可能にする。
• 入力画像はマハ・ツェンダ干渉計（MZI）を用いて事前処理され、直交する偏光波の強度重ね合わせによりWX + B演算を実現する。
• 学習された重みとバイアスを表す位相マスクを位相のみの空間的光変調器（SLM）にロードする一方、DMDは入力信号を制御し再構成性を実現する。
• 出力場は高速なsCMOSカメラで捉えられ、その後デジタル的にReLUまたはSoftMax関数を用いて活性化処理が行われる。
• 本システムはスケーラブルである：追加のレイヤーはデジタル出力をDMDにフィードバックし、SLMの位相マスクを更新することで実装可能である。
• 光の速度と高帯域幅のDMD/SLMデバイスのおかげで、全システムはレイヤーあたり数ミリ秒未塔の極めて低い遅延で動作する。

実験結果

リサーチクエスチョン

• RQ1 自由空間光オプトニクスニューラルネットワークは、最小限のレイヤーと低い空間的複雑性で高い認識精度を達成できるか？
• RQ2 固定型回折的要素を用いずに、光学ニューラルネットワークを再構成可能でスケーラブルにできるか？
• RQ3 完全に光起算的な畳み込みアーキテクチャでデジタル非線形活性化を使用した場合の性能はいかほどか？
• RQ4 このようなシステムは、デジタルまたはハイブリッドニューラルネットワークと比較して競争力のある精度を達成できるか、かつ高速で低消費電力の特性を維持できるか？
• RQ5 プログラマブルな光コンポONENT（DMD、SLM）の統合は、システムの遅延とエネルギー効率にどのように影響を与えるか？

主な発見

• 3層のオプトニクスニューラルネットワークはMNISTデータセットで93.66%の認識精度を達成し、いくつかの既存の自由空間および回折的光ニューラルネットワークを上回った。
• 1層バージョンでは86.06%の精度を達成し、レイヤーの増加に伴うスケーラビリティと性能向上の有効性を示した。
• 光の速度と高速DMD/SLMコンポONENTのおかげで、システムはレイヤーあたり数ミリ秒の極めて低い遅延を示した。
• エネルギー効率は約4.94×10^17 FLOPs/jouleと推定され、従来のデジタルシステムと比較して顕著に低い消費電力であることが示された。
• プログラマブルなDMDとSLMの使用により、完全な再構成性とスケーラビリティが実現され、ネットワークパラメータとレイヤー数の動的調整が可能になった。
• MZIを用いた光学的前処理により、直交する偏光波の強度重ね合わせが成功裏に実現され、WX + Bの線形変換が効率的なアナログ計算で模倣された。