[論文レビュー] Optimizing Neural Networks via Koopman Operator Theory

Akshunna S. Dogra, William T. Redman|arXiv (Cornell University)|Jun 3, 2020

Model Reduction and Neural Networks参考文献 25被引用数 6

ひとこと要約

本稿では、重みとバイアスの進化をKoopman作用素理論を用いて線形力学系としてモデル化することにより、深層ニューラルネットワークの最適化を高速化する新規手法「Koopmanトレーニング」を提案する。Koopman作用素を分割行列計算により近似することで、順伝播の反復的計算を回避し、全結合ネットワークにおいてAdam、Adagrad、Adadeltaと比較して10倍以上の高速化を達成。非自明な訓練区間における重みダイナミクスの予測精度も高い。

ABSTRACT

Koopman operator theory, a powerful framework for discovering the underlying dynamics of nonlinear dynamical systems, was recently shown to be intimately connected with neural network training. In this work, we take the first steps in making use of this connection. As Koopman operator theory is a linear theory, a successful implementation of it in evolving network weights and biases offers the promise of accelerated training, especially in the context of deep networks, where optimization is inherently a non-convex problem. We show that Koopman operator theoretic methods allow for accurate predictions of weights and biases of feedforward, fully connected deep networks over a non-trivial range of training time. During this window, we find that our approach is >10x faster than various gradient descent based methods (e.g. Adam, Adadelta, Adagrad), in line with our complexity analysis. We end by highlighting open questions in this exciting intersection between dynamical systems and neural network theory. We highlight additional methods by which our results could be expanded to broader classes of networks and larger training intervals, which shall be the focus of future work.

研究の動機と目的

• Koopman作用素理論とニューラルネットワークの訓練ダイナミクスの関係を調査し、重みとバイアスの進化を離散力学系として扱う。
• 従来の誤差逆伝播法に内在する非凸最適化の課題を回避する計算的に効率的なKoopmanに基づく訓練手法を開発する。
• Koopmanトレーニングが、著しく低い計算コストで、長期間にわたる訓練区間における重みおよびバイアスの軌道を正確に予測できることを実証する。
• KoopmanトレーニングがAdam や Adagrad などの標準最適化アルゴリズムよりも速度面で優位である条件について、理論的および実験的境界を確立する。
• Koopmanベースの最適化をより広範なニューラルネットワークのクラスや、より長い訓練期間にまで拡張する基盤を構築する。

提案手法

• 全結合ニューラルネットワークの訓練プロセスを、重み/バイアス空間における離散力学系としてモデル化し、更新はKoopman作用素によって支配されるものとする。
• 初期訓練ステップ（MNISTではエポック3〜5、DEソルバーではステップ35k〜45k）からのデータを用いて、Koopman作用素を近似する。
• 計算複雑度を低減するための新規なKoopman作用素の分割戦略を実装し、勾配ベースの手法と同等またはそれ以上の実行時効率を確保する。
• 線形行列演算を用いて、誤差逆伝播の反復的計算を回避し、Koopman作用素から直接将来の重みおよびバイアス状態を予測する。
• 同等の時間区間における標準訓練手法と比較して、Koopmanトレーニングによるネットワーク性能（損失、正答率）の予測を検証する。
• エポック構造や確率的訓練における非整数収束点を考慮し、公平なスピードアップ比較を可能にするための同等訓練時間の指標を定義する。

実験結果

リサーチクエスチョン

• RQ1 Koopman作用素理論は、訓練中のニューラルネットワークの重みおよびバイアスの進化を効果的にモデル化・予測するために適応可能か？
• RQ2 Koopmanベースの訓練は、標準の勾配ベース最適化手法と比較して、どのような条件下で顕著な計算コストの削減を達成するか？
• RQ3 異なるネットワークアーキテクチャおよび訓練目的において、Koopman作用素による重みおよびバイアス軌道の予測精度はどの程度か？
• RQ4 Koopman作用素の分割戦略は、計算効率を維持しながら予測精度を保つために果たす役割は何か？
• RQ5 Koopmanトレーニングは、現在の実験範囲を超えて、他のネットワークタイプやより長い訓練期間へと一般化可能か、その範囲はどの程度か？

主な発見

• Koopmanトレーニングは、ニューラルODEソルバおよびMNIST分類器の両方において、非自明な訓練区間における重みおよびバイアスの進化を高い精度で予測した。
• 同じタスクにおいて、Adam、Adagrad、Adadeltaと比較して10倍以上の高速化を達成し、計算コストは1〜2桁低い水準に抑えられた。
• 分割されたKoopman作用素近似により、複雑度が標準最適化アルゴリズムと同等またはそれ以下の水準にまで低減されたことが、理論的および実験的複雑度解析で裏付けられた。
• MNIST分類器の例では、Koopmanトレーニングによるネットワークが、標準手法が2エポック分のAdadelta訓練に相当する損失レベルに、その10％未満の時間で到達した。
• 確率的訓練（バッチ更新を伴う）を含む多様なアーキテクチャおよび最適化手法に対しても、本手法は頑健性を示し、広範な適用可能性を示した。
• 単一重みのKoopmanトレーニングは、全空間手法の一部の技術的課題を回避し、相関のない重みダイナミクスの処理において有望な結果を示したが、高次元の非相関状態では限界が見られた。