[論文レビュー] Deep Learning via Dynamical Systems: An Approximation Perspective

Qianxiao Li, Ting Lin+1 more|arXiv (Cornell University)|Dec 22, 2019

Model Reduction and Neural Networks被引用数 12

ひとこと要約

本稿では、連続時間の深層残差ネットワークを力学系としてモデル化することにより、連続時間の深層残差ネットワークにおける普遍近似定理を確立している。力学系のフロー写像が、弱い条件下でも $L^p$ 空間における任意の可測関数を近似可能であることを示している。近似に必要な十分条件を提示し、時間区間の長さに応じた収束速度を導出しており、深層学習を力学系の観点から理解するための新しい理論枠組みを提供している。

ABSTRACT

We build on the dynamical systems approach to deep learning, where deep residual networks are idealized as continuous-time dynamical systems, from the approximation perspective. In particular, we establish general sufficient conditions for universal approximation using continuous-time deep residual networks, which can also be understood as approximation theories in $L^p$ using flow maps of dynamical systems. In specific cases, rates of approximation in terms of the time horizon are also established. Overall, these results reveal that composition function approximation through flow maps present a new paradigm in approximation theory and contributes to building a useful mathematical framework to investigate deep learning.

研究の動機と目的

• 連続時間の残差ネットワークを力学系として分析することにより、深層学習の理論的基盤を構築すること。
• 力学系のフロー写像が $L^p$ 空間における関数を普遍的に近似可能な十分条件を確立すること。
• このような系における時間区間の長さに応じた定量的近似速度を導出すること。
• 連続時間モデルを通じて、深層学習の関数合成メカニズムと近似理論を結びつけること。

提案手法

• 常微分方程式を用いて、深層残差ネットワークを連続時間の力学系としてモデル化する。
• 仮説空間を、与えられた関数族 $\mathcal{F}$ に属するベクトル場が生成するフロー写像の集合として定義する。
• 制御可能性と密度に関する議論を活用し、フロー写像の合成によってターゲット関数の近似を構築する。
• 制御理論および微分方程式の結果を応用して、近似性質を証明する。
• 有限個の入出力ペアを任意の精度で補間できるフロー写像を構築することで、普遍近似を確立する。
• $L^p$ ノルムにおける誤差境界の時間区間依存性を分析することで、近似速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 連続時間力学系のフロー写像が、$L^p$ における任意の可測関数を普遍的に近似可能となる条件は何か？
• RQ2 力学系の時間区間が、$L^p$ における近似誤差にどのように影響するか？
• RQ3 与えられたベクトル場族から得られるフロー写像の合成が、任意の関数を任意の精度で近似可能か？
• RQ4 ベクトル場族 $\mathcal{F}$ の構造が、対応するフロー写像の近似能力に果たす役割は何か？
• RQ5 システムの制御可能性とネットワークの近似能力との間にはどのような関係があるか？

主な発見

• ベクトル場族 $\mathcal{F}$ が密度性および合成に関して閉じているなどの弱い条件下を満たしていれば、連続時間の残差ネットワークにおいて $L^p$ での普遍近似が達成される。
• 本稿では、$\mathcal{F}$ が十分に豊かであれば、$L^p$ 内の任意の可測関数が、$\mathcal{F}$ に属するベクトル場によって制御される力学系のフロー写像によって任意に良く近似可能であることが示された。
• 時間区間 $T$ に応じた近似速度が導出されており、適切な正則性仮定のもとで誤差が $O(1/T)$ のオーダーで減少することが示された。
• 有限個の入出力ペア間を任意の精度で補間できるフロー写像の列に依存した構成が行われた。
• 結果から、フロー写像による合成が、特に深層学習モデルにおいて、近似理論における新たなパラダイムを提供することが明らかになった。
• 本フレームワークは、深層学習、力学系、近似理論を $L^p$ 収束を通じて結びつける、厳密な数学的基盤を提供している。