[論文レビュー] Neural ODE control for classification, approximation and transport

Domènec Ruiz-Balet, Enrique Zuazua|arXiv (Cornell University)|Apr 12, 2021

Model Reduction and Neural Networks被引用数 5

ひとこと要約

この論文は、データ分類と汎用近似を達成するために、リプシッツ連続な活性化関数を用いた非線形力学を活用し、ニューラルODEを同時制御問題として定式化する。区分的定数制御を構築することで位相空間内での変形、分離、収縮を誘発し、有界な制御ノルムと $ O(N) $ スイッチを伴う有限時間内可制御性を証明する。これにより、ReLU互換の力学を有する深層学習のための構成的で非線形な制御理論的基盤を確立する。

ABSTRACT

We analyze Neural Ordinary Differential Equations (NODEs) from a control theoretical perspective to address some of the main properties and paradigms of Deep Learning (DL), in particular, data classification and universal approximation. These objectives are tackled and achieved from the perspective of the simultaneous control of systems of NODEs. For instance, in the context of classification, each item to be classified corresponds to a different initial datum for the control problem of the NODE, to be classified, all of them by the same common control, to the location (a subdomain of the euclidean space) associated to each label. Our proofs are genuinely nonlinear and constructive, allowing us to estimate the complexity of the control strategies we develop. The nonlinear nature of the activation functions governing the dynamics of NODEs under consideration plays a key role in our proofs, since it allows deforming half of the phase space while the other half remains invariant, a property that classical models in mechanics do not fulfill. This very property allows to build elementary controls inducing specific dynamics and transformations whose concatenation, along with properly chosen hyperplanes, allows achieving our goals in finitely many steps. The nonlinearity of the dynamics is assumed to be Lipschitz. Therefore, our results apply also in the particular case of the ReLU activation function. We also present the counterparts in the context of the control of neural transport equations, establishing a link between optimal transport and deep neural networks.

研究の動機と目的

• ニューラルODEを用いて、分類や汎用近似といった深層学習の性質を理解するための制御理論的枠組みを確立すること。
• 複数のデータポイントを位相空間内での異なるクラス固有の領域へ同時に誘導する、構成的で非線形な制御戦略を開発すること。
• リプシッツ非線形性（ReLUを含む）を有するNODEの有限時間内可制御性を証明すること。$ C^1 $ 正則性は必要としない。
• 時間枠、制御ノルム、スイッチ数の観点から、制御戦略の複雑さを定量化すること。
• 最適輸送理論とニューラルODEの制御を、神経輸送方程式の制御を通じて結びつけること。

提案手法

• 時間依存の重み $ W(t), A(t), b(t) $ を、複数の初期データポイントに対する同時制御問題の制御入力として扱う。
• 制御の区分的定数スイッチングを用いて、基本的な流れ（分離、平行移動、収縮、圧縮）を生成する。
• 活性化関数の非線形性とリプシッツ性を活用し、位相空間の半分を変形しながら、もう半分を不変に保つ。
• 平行移動と超平面に基づく変形を逐次適用することで、データクラスタを分離する流れを構築する。
• 集合を直径 $ O(\eta) $ に収縮させる収縮流れを適用し、複数のクラスタを再帰的に制御可能にする。
• 時間枠と超平面配置を慎重に選ぶことで、制御ノルムを有界に保ち、$ O(N) $ スイッチを達成する。

実験結果

リサーチクエスチョン

• RQ1 1つの制御入力で、複数のデータポイントを同時に制御し、分類可能か？
• RQ2 NODEを用いたデータ分離と分類を達成するための最小限の制御複雑度（時間、ノルム、スイッチ数）は何か？
• RQ3 ReLUベースのNODEの非線形的・非滑らか力学は、どのように汎用近似と分類を可能にするか？
• RQ4 NODEの制御は最適輸送理論やウォッサーシュタイン幾何学と結びつけ可能か？
• RQ5 活性化関数の非線形性が、分類に不可欠な位相空間変形を可能にする役割は何か？

主な発見

• N個のデータポイントを制御する最終時間枠は、$ T \lesssim N\left(\frac{1}{\eta} + \frac{1}{\zeta} + \log\left(\frac{1}{\eta\zeta}\right)\right) $ にスケーリングする。ここで $ \eta $ と $ \zeta $ は、分離精度と圧縮精度を制御する。
• 制御ノルムは一様に有界であり、$ \|b\|_{L^\infty} \lesssim_{\Omega} N $ である。これはデータセットサイズに応じたスケーラビリティを示す。
• 制御入力 $ A(t), W(t), b(t) $ のスイッチ数は $ O(N) $ のオーダーであり、データクラスタ数と一致する。
• リプシッツ連続非線形性（ReLUを含む）のみを用いて、有限時間内に分類と近似を達成する。$ C^1 $ スムーズネスは不要である。
• 制御戦略により、集合を直径 $ O(\eta) $ に圧縮可能であり、分離と平行移動後の最終構成は $ \mathrm{diam}_{(1)} \leq 4\eta $ を満たす。
• 制御コストの主な要因は収縮や平行移動ではなく、分離とグループ化の段階に起因する。