[論文レビュー] Stable Neural Flows

Stefano Massaroli, Michael Poli+4 more|arXiv (Cornell University)|Mar 18, 2020

Model Reduction and Neural Networks参考文献 22被引用数 11

ひとこと要約

本稿では、ニューラルODEの安定版であるStable Neural Flowsを提案する。この手法では、軌道がニューラルネットワークでパラメータ化されたエネルギー関数の単調に減少する等高線上を進化させる。ベクトル場をこのエネルギーの負の勾配として構造化することにより、漸近的安定性が保証され、入力摂動に対する感度が低下し、数値的効率が向上する。実験結果では、ベンチマークデータセット上で関数近似および非線形分類の両面で良好な性能を示した。

ABSTRACT

We introduce a provably stable variant of neural ordinary differential equations (neural ODEs) whose trajectories evolve on an energy functional parametrised by a neural network. Stable neural flows provide an implicit guarantee on asymptotic stability of the depth-flows, leading to robustness against input perturbations and low computational burden for the numerical solver. The learning procedure is cast as an optimal control problem, and an approximate solution is proposed based on adjoint sensivity analysis. We further introduce novel regularizers designed to ease the optimization process and speed up convergence. The proposed model class is evaluated on non-linear classification and function approximation tasks.

研究の動機と目的

• 標準的なニューラルODEには安定性の保証がなく、入力摂動によってカオス的または不安定なダイナミクスを示す可能性があるという問題に対処する。
• ベクトル場をニューラルエネルギー関数に埋め込むことで、安定な深さ方向の流れの理論的基盤を提供する。
• エネルギーの減少が保証される非増加のエネルギー構造を用いることで、学習された流れの漸近的安定性を確保する。
• エネルギー降下に制約を加えることで、ODEソルバーにおける数値的剛性や adversarial 攻撃に対するロバストネスを向上させる。
• 訓練目的関数に新しい正則化項を導入することで、定常状態への収束を加速する。

提案手法

• システムのリャプノフ関数として機能する、ニューラルネットワークでパラメータ化されたエネルギー関数 ε(x, u; w) を定義する。
• エネルギーの勾配の負の値としてベクトル場 f = −∂xε を構築することで、軌道に沿ってエネルギーが単調に減少することを保証する。
• データ適合性と終端状態の正則化を組み込んだコスト関数を用いて、最適制御問題として訓練を定式化する。
• 随伴感度解析を用いて勾配を計算し、ODE解の背後で誤差逆伝播を可能にする。
• 終端正則化項 ℓ⋆_t = ℓ_t + (γ/2)∥∂xε∥² を導入し、最終深さ S よりも前に定常状態への収束を促進する。
• 終端勾配と逆伝播勾配の両方を処理できる再帰的勾配降下手順を用いてモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルODEのダイナミクスをニューラルエネルギー関数に沿って降下させる制約を課すことで、証明可能な安定性を達成できるか？
• RQ2 エネルギー降下を強制することで、入力摂動や adversarial 攻撃に対するロバストネスにどのような影響を与えるか？
• RQ3 提案されたエネルギーに基づく構造は、ODEソルバーにおける収束性と計算コストに改善をもたらすか？
• RQ4 エネルギー関数が分類や関数近似の文脈で、意味的でデータ依存性の高い多様体をどれほど適切に学習できるか？
• RQ5 終端正則化項の追加が、深さ領域における定常状態への収束をどの程度加速するか？

主な発見

• Stable Neural Flows は、軌道に沿ってエネルギー関数が単調に減少することを保証することで、証明可能な漸近的安定性を達成する。
• エネルギーに基づくダイナミクスの本質的安定性のおかげで、入力摂動や adversarial 攻撃に対してもロバストであることが示された。
• half-moons および three-spirals データセットでは、入力点が線形分離可能な多様体へと適切に誘導され、深さ S = 1 よりも前に収束する流れによって正しく分類された。
• y = −u の関数近似において、モデルはターゲット関数と一致する勾配の最も急な降下方向を示す、データに依存するエネルギー関数を学習した。
• γ = 10⁻² として終端正則化項 ℓ⋆_t を導入したことで、深さ領域における早期収束が顕著に観察され、定常状態への収束が著しく加速された。
• 随伴感度解析の使用により、安定性制約にもかかわらず、ODE解の背後での効率的な学習が可能となり、計算オーバーヘッドを低く保った。