[論文レビュー] Programming Nonlinear Propagation for Efficient Optical Learning Machines

İlker Oğuz, Jih-Liang Hsieh+6 more|arXiv (Cornell University)|Aug 9, 2022

Optical Network Technologies被引用数 4

ひとこと要約

本論文は、マルチモード光ファイバを用いた波front形状の超短パルスを活用して、制御された非線形光伝搬を誘発し、効率的な計算を実現する光学的ニューラルネットワークを提案する。サーヴェイモデルを用いて入力波frontを最適化することで、同等のデジタルネットワークと比較して、デジタルパrameterを97%削減、デジタル演算を99%削減でき、競争力のある精度を達成しつつ、部分的または完全に光学的な学習が可能な高効率な実装を実現する。

ABSTRACT

The ever-increasing demand for processing data with larger machine learning models requires more efficient hardware solutions due to limitations such as power dissipation and scalability. Optics is a promising contender for providing lower power computation since light propagation through a non-absorbing medium is a lossless operation. However, to carry out useful and efficient computations with light, generating and controlling nonlinearity optically is a necessity that is still elusive. Multimode fibers (MMF) have been shown that they can provide nonlinear effects with microwatts of average power while maintaining parallelism and low loss. In this work, we propose an optical neural network architecture, which performs nonlinear optical computation by controlling the propagation of ultrashort pulses in MMF by wavefront shaping. With a surrogate model, optimal sets of parameters are found to program this optical computer for different tasks with minimal utilization of an electronic computer. We show a remarkable decrease of 97% in the number of model parameters, which leads to an overall 99% digital operation reduction compared to an equivalently performing digital neural network. We further demonstrate that a fully optical implementation can also be performed with competitive accuracies.

研究の動機と目的

• 大規模な機械学習モデルにおけるエネルギー効率の高いハードウェアの需要を満たすため。
• 実用的な計算に適した低消費電力での光学的非線形性の生成と制御の課題を克服するため。
• 超短パルスを用いてマルチモードファイバが持つ内在的な非線形性を活用し、効率的な光学的推論を実現するため。
• 光学的非線形処理によりニューラルネットワークにおけるデジタル計算への依存度を最小限に抑えるため。
• 完全または部分的に光学的実装を用いた光学的学習マシンで、競争力のある精度を示すため。

提案手法

• 本手法は、マルチモードファイバ内を伝搬する超短パルスの波front形状を制御することで、目的の非線形光学的応答を誘発する。
• 目的の非線形変換を達成するための最適な波frontパrameterを予測するためのサーヴェイモデルを訓練する。
• サーヴェイモデルは、望ましい出力と必要な入力波frontの間のマッピングを学習することで、反復的デジタル最適化の必要性を低減する。
• 低消費電力（マイクロワットレベル）のパルスによって、ファイバ内での自己位相変調およびクロス位相変調が有効に活用され、非線形活性化関数が実現される。
• バックプロパゲーションをサーヴェイモデルを介してエンドツーエンドに適用することで、デジタル計算を最小限に抑えたアーキテクチャの学習が可能となる。
• ハイブリッド光学・デジタル推論と完全に光学的な推論の両方をサポートし、競争力ある性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 マルチモードファイバにおける非線形光伝搬を、効率的でタスク固有の計算を実行できるようにプログラミングできるか？
• RQ2 波front形状制御が、機械学習タスクにおけるマルチモードファイバの非線形応答をどれほど制御できるか？
• RQ3 非線形演算を光学ドメインに移行させることで、ニューラルネットワークにおけるデジタル計算をどの程度削減できるか？
• RQ4 完全に光学的な実装が、デジタル同等の性能を達成できるか？
• RQ5 光学的複雑性とデジタル演算の削減のトレードオフは、光学的学習マシンにおいてどのように現れるか？

主な発見

• 同等のデジタルニューラルネットワークと比較して、モデルパラメータ数を97%削減した。
• 光学的非線形計算が支配的であるため、総合的なデジタル演算数が99%削減された。
• ベンチマークタスクにおいて、競争力ある分類精度を達成し、光学的学習の実現可能性を示した。
• 完全に光学的な実装が実証され、デジタルネットワークと同等の性能を示した。これにより、完全光学的推論の可能性が裏付けられた。
• サーヴェイモデルにより波frontの最適化が効率的に行われ、反復的デジタルトレーニングへの依存度が低下した。
• マイクロワットレベルの平均パワーでマルチモードファイバ内の非線形効果を活用し、低エネルギー動作を実現した。