[論文レビュー] Towards Trainable Media: Using Waves for Neural Network-Style Training

Michiel Hermans, Thomas Van Vaerenbergh|arXiv (Cornell University)|Sep 30, 2015

Neural Networks and Reservoir Computing参考文献 30被引用数 4

ひとこと要約

本論文は、波の干渉を用いてニューラルネットワーク風のバックプロパゲーションを実行する、トレーニング可能な光学媒体の新規提案を行う。これにより、前方波と誤差波の乗算によって局所的で勾配に基づく重み更新が可能になる。シミュレーションにより、位相シフトャを備えたナノフォトニクスチップが、不均一な損失下でも低誤差（NRMSE ≈ 0.0015）で行列-ベクトル乗算を学習できることを示しており、スケーラブルで低消費電力なAIアクセラレータの実現可能性を示唆している。

ABSTRACT

In this paper we study the concept of using the interaction between waves and a trainable medium in order to construct a matrix-vector multiplier. In particular we study such a device in the context of the backpropagation algorithm, which is commonly used for training neural networks. Here, the weights of the connections between neurons are trained by multiplying a `forward' signal with a backwards propagating `error' signal. We show that this concept can be extended to trainable media, where the gradient for the local wave number is given by multiplying signal waves and error waves. We provide a numerical example of such a system with waves traveling freely in a trainable medium, and we discuss a potential way to build such a device in an integrated photonics chip.

研究の動機と目的

• 波の干渉を用いて勾配を計算することで、ニューラルネットワークの学習を模倣する物理的媒体の開発。
• トレーナブルな媒体における波の伝播を用いて、局所的で双方向の行列-ベクトル乗算を実現。
• 波に基づくシステムが、デジタル計算を用いずにバックプロパゲーションに類似した学習を実行可能であることを示すこと。
• 現実的な損失やノイズを想定した統合フォトニクスチップ上にこのようなシステムを構築する可能性の探求。
• 不均一な損失および測定ノイズが学習プロセスと収束に与える影響の評価。

提案手法

• 信号波と誤差波の前向きおよび後向き伝搬を用いて、バックプロパゲーションアルゴリズムを模倣。信号波と誤差波の乗算により勾配を計算。
• 局所的な波の波数を、前方波と誤差波の振幅積に基づいて調整する物理的勾配降下法を採用。
• 位相シフトャが波の伝搬を変調するナノフォトニクスチップをモデル化。これにより、トレーナブルな線形変換が可能になる。
• 前方波と誤差波の強度積を測定し、その結果に基づいて位相シフトャを更新する学習ルールを適用。
• 現実的な光学的損失と非一様減衰を想定した70段階の位相シフトャアレイを介した波の伝搬をシミュレート。
• 正則化なしの局所的学習ルールを採用。収束を改善するために、固定または線形に減少する学習率を用いる。

実験結果

リサーチクエスチョン

• RQ1 物理的媒体における波の干渉を用いて、バックプロパゲーション風の学習を実装可能か？
• RQ2 不均一な光学的損失が、波に基づくトレーナブルな媒体の学習性能に与える影響は？
• RQ3 局所的で物理的な勾配降下メカニズムは、フォトニクスチップで正確な行列-ベクトル乗算を達成できるか？
• RQ4 測定ノイズおよび低出力検出が、学習プロセスに与える影響は？
• RQ5 現実的な損失条件下で、現在のナノフォトニクス部品を用いてどの程度のスケーラビリティが達成可能か？

主な発見

• 不均一な損失下でも、NRMSEが約0.007にまで低下するよう学習が成功。学習率を線形に減少させると、NRMSEは0.0015にまで改善される。
• 70段階の位相シフトャアレイで99％の電力損失が生じても、学習プロセスは安定し収束を示し、高い損失耐性を示す。
• 最終的な位相シフト量は狭い範囲（±2π/10）に集中しており、完全な2πの位相チューニングが学習に必須ではないことが示唆される。
• 学習率を時間とともに減少させることで収束が著しく改善され、固定学習率と比較してNRMSEが10倍に低下する。
• 不均一な損失はNRMSEに下限を課すが、学習プロセス自体はそれによって深刻に損なわれない。
• 低出力測定でも本手法は有効であり、通信用途よりもはるかに低い測定レートで十分に動作する。