[論文レビュー] Agnostic Physics-Driven Deep Learning

Benjamin Scellier, Siddhartha Mishra+2 more|arXiv (Cornell University)|May 30, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、解析的エネルギー関数の知識や明示的な勾配計算を必要とせずに、物理的システムにおける勾配降下法を実現する物理的駆動型学習フレームワーク、アノグノスティック均衡伝播（Æqprop）を提案する。モデルパラメータをシステムエネルギーを最小化する動的変数として扱い、ノッチングを用いてパラメータ更新を誘導することで、物理的ダイナミクスによる真の一次順序最適化を達成する。これにより、生物学的・アナログシステムにおける効率的でハードウェアに依存しない機械学習が可能になる。

ABSTRACT

This work establishes that a physical system can perform statistical learning without gradient computations, via an Agnostic Equilibrium Propagation (Aeqprop) procedure that combines energy minimization, homeostatic control, and nudging towards the correct response. In Aeqprop, the specifics of the system do not have to be known: the procedure is based only on external manipulations, and produces a stochastic gradient descent without explicit gradient computations. Thanks to nudging, the system performs a true, order-one gradient step for each training sample, in contrast with order-zero methods like reinforcement or evolutionary strategies, which rely on trial and error. This procedure considerably widens the range of potential hardware for statistical learning to any system with enough controllable parameters, even if the details of the system are poorly known. Aeqprop also establishes that in natural (bio)physical systems, genuine gradient-based statistical learning may result from generic, relatively simple mechanisms, without backpropagation and its requirement for analytic knowledge of partial derivatives.

研究の動機と目的

• エネルギー関数の導関数やパラメータ更新メカニズムを明示的に必要とする従来の物理的学習手法の制限を克服すること。
• 内部ダイナミクスが十分に理解されていない、あるいは未知の物理的システムにおいて勾配ベースの学習を可能にすること。
• 訓練中に中間の平衡状態を保存する必要性を排除すること。これは、物理的実装において大きなボトルネックであった。
• エネルギー最小化とノッチングといった単純な物理的メカニズムから、確実に一次順序最適化（確率的勾配降下法と同等）が生じることを示すこと。
• 学習が本質的にハードウェアに依存しないフレームワークを確立すること。これは、十分な自由度を持つ任意の制御可能な物理的システムに適用可能である。

提案手法

• トレーニング可能なパラメータを、状態変数と同様にシステムエネルギー関数を最小化する浮動変数として扱う。
• 最初の段階で、パラメータを現在の値に保つためのコントロールノブを用い、安定な初期化を確保する。
• 二番目の段階で、出力エネルギー関数に小さな摺りこみ（ノッチング）を適用し、システムを望ましい応答へ誘導する。
• ノッチング下での平衡状態の変化からパラメータ更新を導出し、これが真の勾配ステップに一致することを示す。
• 収束性と安定性を保証するためのリャプノフ関数を用い、大きなステップサイズでも損失の減少が理論的に保証されることを示す。
• 明示的な勾配計算や偏微分の解析的知識に依存せず、外部からの操作（入力、コントロールノブ、ノッチング）のみに依存する。

実験結果

リサーチクエスチョン

• RQ1 エネルギー関数の解析的形の知識や明示的な勾配計算なしに、物理的システムで勾配降下法を達成できるか？
• RQ2 外部のデジタル制御や不揮発性メモリに依存せずに、物理的ダイナミクスによってパラメータ更新を直接誘導できるか？
• RQ3 提案手法は、特に大きなステップサイズ下でも、標準的な確率的勾配降下法よりも強い収束保証を提供するか？
• RQ4 学習プロセスを物理法則そのものに完全に埋め込むことで、ハードウェアに依存しない機械学習が可能になるか？
• RQ5 バックプロパゲーションや明示的な導出計算なしに、エネルギー最小化とノッチングのみで物理的システムにおける一次順序最適化を達成できるか？

主な発見

• Æqpropは、明示的な勾配計算を一切行わずに、物理的ダイナミクスにより1サンプルあたり1ステップの確率的勾配降下法を実現する。
• エネルギー関数の解析的形に依存せず、外部からの制御とシステム状態の観測のみを要する。
• Æqpropにおけるパラメータ更新は、定理1で示されるように、損失関数に関して真の勾配ステップに正確に一致する。
• Æqpropの「悲観的」バージョンは、大きな学習率でも損失関数のタイトな上界が各ステップで減少することを保証する。
• 従来のEqpropに基づくアプローチで大きな障害であった、最初の平衡状態の保存が必要ないことを克服する。
• Æqpropは、パラメータが事前に定義されたり保存されないシステム、例えばアナログまたは生物学的ハードウェアにおいてもエンドツーエンドの物理的学習を可能にする。