[論文レビュー] Photonic Delay Systems as Machine Learning Implementations

Michiel Hermans, Miguel C. Soriano+3 more|arXiv (Cornell University)|Jan 12, 2015

Neural Networks and Reservoir Computing参考文献 31被引用数 42

ひとこと要約

本稿では、時間遅延を伴う光子的システムにおける入力符号化を最適化するために、時間遅延を伴う誤差逆伝播法を用いた勾配降下法を提案する。これにより、高パフォーマンスな機械学習アクセラレータに発展させる。実験結果は、最適化されたシステムが標準的なリザボア計算を著しく上回ることを示しており、従来の機械学習の訓練技術が物理的アナログ神経モルフィックハードウェアの設計に効果的に応用可能であることを裏付けている。

ABSTRACT

Nonlinear photonic delay systems present interesting implementation platforms for machine learning models. They can be extremely fast, offer great degrees of parallelism and potentially consume far less power than digital processors. So far they have been successfully employed for signal processing using the Reservoir Computing paradigm. In this paper we show that their range of applicability can be greatly extended if we use gradient descent with backpropagation through time on a model of the system to optimize the input encoding of such systems. We perform physical experiments that demonstrate that the obtained input encodings work well in reality, and we show that optimized systems perform significantly better than the common Reservoir Computing approach. The results presented here demonstrate that common gradient descent techniques from machine learning may well be applicable on physical neuro-inspired analog computers.

研究の動機と目的

• 時間遅延を伴う光子的システムの応用範囲を標準的なリザボア計算の範囲を超えて拡大し、入力信号の勾配に基づく最適化を可能にする。
• 時間遅延を伴う誤差逆伝播法が物理的アナログ神経インスパイア型計算システムに効果的に適用可能であることを示す。
• 実世界の光子的ハードウェア実験を通じて、最適化された入力符号化の性能向上を検証する。
• 再訓練を実データに依存せずに、物理的システムモデルを用いてアナログハードウェアの訓練が可能であるかを検証する。
• 入力符号化と内部ダイナミクスの両方を同時に最適化できるようにするための将来のシステム再設計の道筋を同定する。

提案手法

• 電気光学的光子的遅延システムの数学的モデルを用いて、システムのダイナミクスをシミュレートし、時間遅延を伴う誤差逆伝播法により勾配を計算する。
• 入力信号は、システム入力に適用される時間依存のマスクとして符号化され、損失関数を最小化するようにパラメータが勾配降下法で最適化される。
• 訓練プロセスでは、モデルを用いてシステム出力の入力パラメータに関するヤコビアンを計算し、重みの更新を実行する。
• 物理的実験は、1.5 kmのファイバ遅延を備えたマハーズ・ゼンダ干渉計を用いた装置で実施され、最適化された入力符号化の実ハードウェアでの有効性を検証する。
• 性能向上の程度を測定するために、出力重みのみを訓練する標準的なリザボア計算と比較する。
• 将来の訓練では、シミュレーションモデルに依存せず、リアルタイム測定値を直接誤差逆伝播ループに組み込むことを提案する。

実験結果

リサーチクエスチョン

• RQ1 時間遅延を伴う誤差逆伝播法を用いた勾配降下法は、物理的光子的遅延システムにおける入力信号の最適化に成功するか？
• RQ2 実ハードウェア上での性能において、勾配最適化された光子的システムは標準的なリザボア計算を上回るか？
• RQ3 物理的システムモデルの精度が最適化プロセスの有効性に及ぼす影響はどの程度か？
• RQ4 リアルタイム測定値を直接訓練ループに使用することで、シミュレーションベースの最適化の必要性を排除できるか？
• RQ5 システムアーキテクチャをどのように再設計すれば、入力信号と内部ダイナミクスの両方を同時に最適化できるか？

主な発見

• 最適化された光子的遅延システムは、標準的なリザボア計算を著しく上回る性能を達成しており、勾配ベースの入力符号化の有効性が裏付けられた。
• 物理的実験により、シミュレーションで最適化された入力符号化が実ハードウェアでも良好に機能することが確認され、モデルの予測能力が裏付けられた。
• 1サイクルあたりのマスキングステップ数を増やすことでシステム性能が向上したが、帯域幅制限および信号歪みのため実用的限界に達した。
• 本手法により、強力な機械学習最適化技術を物理的アナログハードウェアに適用可能となり、抽象的な機械学習アルゴリズムと物理的実装との間のギャップを埋めることを可能にした。
• 将来的に、リアルタイム測定値を直接訓練ループに組み込むことで、モデル依存性を排除し、データ収集を加速できる可能性がある。
• 結果から、入力と内部ダイナミクスの両方を最適化することで、光子的遅延システムが固定されたリザボアではなく、トレーニング可能な物理的ニューラルネットワークとして再考できることが示唆された。