[論文レビュー] Applications of Koopman Mode Analysis to Neural Networks

Iva Manojlović, Maria Fonoberova+5 more|arXiv (Cornell University)|Jun 21, 2020

Model Reduction and Neural Networks参考文献 15被引用数 10

ひとこと要約

本稿では、重み空間上の動的システムとしてニューラルネットワークの学習を扱うためのコプマンモード解析フレームワークを提案する。これにより、コプマンスペクトル解析による早期停止、コプマンモードを用いたネットワーク pruning、およびソボレフノルムに基づく損失関数によるノイズ耐性の向上が可能になる。主な貢献は、データ駆動型で作用素論的であるアプローチであり、アーキテクチャ設計、学習モニタリング、信号再構成の強化において解釈可能性と効率性の向上をもたらす。

ABSTRACT

We consider the training process of a neural network as a dynamical system acting on the high-dimensional weight space. Each epoch is an application of the map induced by the optimization algorithm and the loss function. Using this induced map, we can apply observables on the weight space and measure their evolution. The evolution of the observables are given by the Koopman operator associated with the induced dynamical system. We use the spectrum and modes of the Koopman operator to realize the above objectives. Our methods can help to, a priori, determine the network depth; determine if we have a bad initialization of the network weights, allowing a restart before training too long; speeding up the training time. Additionally, our methods help enable noise rejection and improve robustness. We show how the Koopman spectrum can be used to determine the number of layers required for the architecture. Additionally, we show how we can elucidate the convergence versus non-convergence of the training process by monitoring the spectrum, in particular, how the existence of eigenvalues clustering around 1 determines when to terminate the learning process. We also show how using Koopman modes we can selectively prune the network to speed up the training procedure. Finally, we show that incorporating loss functions based on negative Sobolev norms can allow for the reconstruction of a multi-scale signal polluted by very large amounts of noise.

研究の動機と目的

• ニューラルネットワークの学習を、高次元の重み空間上の動的システムとして分析すること。
• コプマン作用素のスペクトルとモードを用いて、不良な重み初期化を検出するとともに、最適なネットワークの深さを特定すること。
• コプマンスペクトルにおける1に近い固有値のクラスタリングをモニタリングすることで、学習の早期終了を可能にすること。
• モデル性能を維持しながら、トレーニングを高速化できるコプマンモードに基づくプルーニング戦略の開発。
• 負のソボレフノルムから導出された損失関数を用いて、高ノイズのマルチモーダル信号に対して耐性を高めること。

提案手法

• 最適化アルゴリズムと損失関数が重み空間に及ぼす影響を、離散的動的システムとしてモデル化する。
• 重み空間の観測量に作用する線形かつ無限次元の作用素としてコプマン作用素を定義し、合成により非線形動的挙動を捉える。
• トレーニング軌道からコプマンモードと固有値を計算するために動的モード分解（DMD）を用い、収束のスペクトル的分析を可能にする。
• コプマンスペクトル解析を応用し、固有値が1に集まっているかどうかをモニタリングすることで、収束または発散の検出を可能にし、終了条件を特定する。
• 2種類のソボレフに基づく損失関数を設計：1つ目は各層でスケールに特化した監視を強制する（ソボレフ損失1）、2つ目は出力層でのみマルチスケール制約を適用する（ソボレフ損失2）。
• フーリエ変換またはコプマンスペクトルを用いて、マルチスケール信号をモデル化するために必要な最小の層数を決定し、階層的SVR解析に基づいて最適化する。

実験結果

リサーチクエスチョン

• RQ1 固有値が1に集まっているかどうかをモニタリングすることで、コプマンスペクトルを用いて学習の早期終了を検出できるか？
• RQ2 コプマンモードは、性能劣化を伴わずにニューラルネットワークの重みを効果的に選択的にプルーニングできるか？
• RQ3 コプマンまたはフーリエスペクトルは、マルチスケール信号をモデル化するための最適なネットワークの深さをどのように示唆するか？
• RQ4 負のソボレフノルムに基づく損失関数は、信号再構成において高レベルのノイズに対して顕著に耐性を高められるか？
• RQ5 中間層でのスケールに特化した監視（ソボレフ損失1）は、出力層でのみマルチスケール監視を行う（ソボレフ損失2）よりも、ノイズが多い環境で優れているか？

主な発見

• 各層でスケールに特化した監視を強制するソボレフ損失1は、純粋なL²損失およびソボレフ損失2を上回り、極めてノイズの強いデータからのマルチスケール信号再構成において優れた性能を示した。
• ノイズレベルε = 1.0の状況では、純粋なL²損失関数は信号を再構成できず、ノイズデータの平均値しか出力しなかったが、ソボレフ損失1は正確な再構成を達成した。
• コプマンスペクトル解析により、固有値が1に集まっていることは収束を信頼性高く示すことが判明し、これにより早期停止が可能になり、不要な学習エポックを回避できるようになった。
• コプマンモードに基づくプルーニングは、モデル性能を維持しながらネットワークサイズを縮小し、推論および学習の高速化を実現した。
• マルチスケール信号をモデル化するために必要な層数は、事前にコプマンまたはフーリエスペクトルを用いて決定可能であり、階層的SVR解析と整合的であった。
• 損失関数に負のソボレフノルムを組み込むことで、特にマルチモーダルで高ノイズな信号再構成タスクにおいて、大振幅のノイズを効果的に排除できるようになった。