[論文レビュー] Electro-optical Neural Networks based on Time-stretch Method

Yubin Zang, Minghua Chen+2 more|arXiv (Cornell University)|Sep 13, 2019

Neural Networks and Reservoir Computing参考文献 33被引用数 5

ひとこと要約

本論文は、光ファイバー・ループを用いて大規模な行列-ベクトル乗算および多層フィードフォワード計算を実行する時間ストレッチ法を用いた、新規な電気光学的ニューラルネットワークアーキテクチャを提案する。数値シミュレーションにより、顕著なノイズ下でも手書き数字認識で88%の精度を達成した。これは、光信号処理が効率的で高速なAI推論に有効である可能性を示している。

ABSTRACT

In this paper, a novel architecture of electro-optical neural networks based on the time-stretch method is proposed and numerically simulated. By stretching time-domain ultrashort pulses, multiplications of large scale weight matrices and vectors can be implemented on light and multiple-layer of feedforward neural network operations can be easily implemented with fiber loops. Via simulation, the performance of a three-layer electro-optical neural network is tested by the handwriting digit recognition task and the accuracy reaches 88% under considerable noise.

研究の動機と目的

• AI計算における電子的ボトル neck を克服するため、光信号処理を活用したニューラルネットワークの新規ハードウェアアーキテクチャの開発を目的とする。
• 光ファイバー・ループ内の時間ストレッチされた光パルスを用いて、大規模な行列-ベクトル乗算および多層フィードフォワード演算を実現することを目的とする。
• 現実的なノイズ条件下での実用的機械学習タスクに対する光ニューラルネットワークの実現可能性を実証することを目的とする。
• 電子的限界を超えてニューラルネットワーク推論を加速するための電気光学的システムの可能性を検討することを目的とする。

提案手法

• 時間ストレッチ法を用いて、超短パルスを時間軸上で線形に伸ばし、信号成分の並列処理を可能にする。
• 時間分割多重方式を用いて、重み行列を時間ストレッチされた光信号の振幅および位相に符号化する。
• フィルタリングや遅延線を用いた光ファイバー遅延ラインと受動的光コンponentsを用いて、畳み込みに類似した演算を実装する。
• 光ファイバー部品の線形時間領域応答を活用して、行列-ベクトル乗算を実現する。
• 時間ストレッチとフィルタリング段階を段階的に接続することで、多層フィードフォワード演算をサポートするアーキテクチャを設計する。
• 信号検出は、バランスドフォトレセプタとデジタイゼーションを経て、標準的な分類処理を実行する。

実験結果

リサーチクエスチョン

• RQ1 時間ストレッチ法は、光ニューラルネットワークにおける大規模な行列-ベクトル乗算を効果的に実装するために有効に利用できるか？
• RQ2 光ファイバー・ループ内の時間ストレッチ光パルスを用いて、多層フィードフォワードニューラルネットワーク演算を効率的に実現できるか？
• RQ3 提案された電気光学的ニューラルネットワークは、現実世界の機械学習タスクにおいてノイズ条件下でも良好に動作するか？
• RQ4 手書き数字認識のようなパターン認識タスクにおいて、光ニューラルネットワークの達成可能な精度はどの程度か？

主な発見

• 提案された電気光学的ニューラルネットワークは、MNISTデータセットを用いた手書き数字認識タスクで88%の分類精度を達成した。
• 顕著なノイズ下でも優れた性能を示し、光実装における信号劣化に対する耐性があることが示された。
• 時間ストレッチ法により、受動的光コンponentsを用いて大規模な行列-ベクトル乗算が効率的に実装された。
• 段階的なファイバー・ループと時間領域信号処理を用いて、多層フィードフォワード演算が成功裏に実現された。
• シミュレーション結果により、高速かつ低消費電力なニューラルネットワーク推論に光信号処理を用いる実現可能性が裏付けられた。