[論文レビュー] Self-learning Machines based on Hamiltonian Echo Backpropagation

Víctor López-Pastor, Florian Marquardt|Figshare|Mar 8, 2021

Neural Networks and Applications参考文献 80被引用数 4

ひとこと要約

本稿では、時間反転対称性を活用し、微小な誤差信号を注入することで自己学習型マシンを時間反転可能ハミルトニアン系で訓練する一般化手法であるハミルトニアンエコー誤差逆伝播（HEB）を提案する。この手法により、外部フィードバックやデジタル処理を一切用いずに、物理的バックプロパゲーションを完全に実現し、非線形波動場などの系においても安定した学習が可能である。

ABSTRACT

A physical self-learning machine can be defined as a nonlinear dynamical system that can be trained on data (similar to artificial neural networks), but where the update of the internal degrees of freedom that serve as learnable parameters happens autonomously. In this way, neither external processing and feedback nor knowledge of (and control of) these internal degrees of freedom is required. We introduce a general scheme for self-learning in any time-reversible Hamiltonian system. We illustrate the training of such a self-learning machine numerically for the case of coupled nonlinear wave fields.

研究の動機と目的

• 外部フィードバックやデジタル処理を一切用いずに、自己学習型マシンを物理的に実現可能な一般化された訓練手法を開発すること。
• 既存の光学的・ニューロモルフィック学習系の限界を克服し、内部的な物理的ダイナミクスによって勾配降下を実現すること。
• 任意の時間反転可能ハミルトニアン系が、特定の非線形性や系の詳細に依存せずに、HEBを用いて訓練可能であることを示すこと。
• 対称ハミルトニアンの退化した基底状態にパラメータを格納することで、小さな摂動に対しても安定したパラメータ学習を実現すること。
• 連続的および離散的学習パラメータの両方に適用可能であり、離散最適化における熱的アニーリングとの類似性を明らかにすること。

提案手法

• この手法は時間反転対称性に依存しており、前方伝搬の後に系のダイナミクスを時間反転したエコーが続く。
• エコー段階で微小な誤差信号を注入することで、時間反転対称性を破り、物理的勾配信号を生成する。
• その結果生じるダイナミクスが、確率的勾配降下を模倣する物理的バックプロパゲーション機構を通じて、学習可能なパラメータを自然に更新する。
• このアプローチは一般化されており、特定の非線形素子の設計や、系の内部パラメータの正確な制御を必要としない。
• 学習パラメータは、パラメトリックに駆動されるオシレータにおける位相や振幅の差といった、ハミルトニアンの連続的または離散的対称性に符号化される。
• 小さな摂動が学習済み構成を不安定化させないため、パラメータを退化した基底状態多様体に格納することで安定性が向上する。

Figure 1: Different types of physical learning machines. (a) Physical learning machine requiring feedback based on the outcome, to tune the internal "learning" parameters $\theta$ inside the physical device. (b) A self-learning machine does not involve feedback. It updates the learning parameters in

実験結果

リサーチクエスチョン

• RQ1 外部フィードバックやデジタル計算を一切用いずに、自己学習型マシンを内部的な物理的ダイナミクスのみで訓練できるか？
• RQ2 時間反転可能ハミルトニアン系において、勾配降下をどのように物理的に実現できるか？
• RQ3 時間反転対称性が、自律的パラメータ更新を可能にする役割を果たすメカニズムは何か？
• RQ4 固有の対称性を持つ物理系において、学習パラメータを安定して格納する方法は何か？
• RQ5 この手法は連続的および離散的パラメータ空間に適用可能か？また、熱的アニーリングとはどのような関係にあるか？

主な発見

• ハミルトニアンエコー誤差逆伝播は、内部パラメータの知識や制御を一切必要とせず、任意の時間反転可能ハミルトニアン系において自己学習型マシンの自律的訓練を可能にする。
• 時間反転エコー段階で微小な誤差信号を注入することで、系の自然なダイナミクスを通じて物理的勾配降下を実現し、パラメータの更新を誘発する。
• 数値シミュレーションにより、結合非線形波動場における成功した訓練が確認され、本手法の実現可能性と効率性が裏付けられた。
• 学習パラメータが対称ハミルトニアンの退化した基底状態に符号化されている場合、小さな摂動に対しても安定したパラメータ格納が達成される。
• 離散的パラメータに適応するためには、学習プロセスを熱的アニーリングと解釈することで、有効なハミルトニアンの局所的最小値に収束する。
• 本手法は特定の系の詳細（非線形性や幾何配置など）に依存しないため、一般化されており、光学的およびパラメトリックオシレータを含む多様な物理的プラットフォームに応用可能である。

Figure 2: Overview: The landscape of physical learning machines. Our work falls into the broad class of optimization approaches. It belongs to the small class of works that involve both physical backpropagation and self-learning, but in contrast to other approaches our scheme is universal, i.e. inde