[論文レビュー] Analysis on the Nonlinear Dynamics of Deep Neural Networks: Topological Entropy and Chaos

Husheng Li|arXiv (Cornell University)|Apr 3, 2018

Neural Networks and Applications参考文献 21被引用数 7

ひとこと要約

この論文は、深層ニューラルネットワーク（DNNs）を離散時間非線形力学系として定式化し、位相的エントロピーとリャプノフ指数を用いてその複雑さを分析する。適切なネットワークパラメータ下で、ReLUおよびtanh活性化関数が正のリャプノフ指数を誘発することを示し、カオス的ダイナミクスを示しており、VC次元の下界としてD+3を導出する。これは力学的複雑さと一般化能力を結びつける。

ABSTRACT

The theoretical explanation for deep neural network (DNN) is still an open problem. In this paper DNN is considered as a discrete-time dynamical system due to its layered structure. The complexity provided by the nonlinearity in the dynamics is analyzed in terms of topological entropy and chaos characterized by Lyapunov exponents. The properties revealed for the dynamics of DNN are applied to analyze the corresponding capabilities of classification and generalization.

研究の動機と目的

• DNNの成功を理解するための理論的枠組みを提供すること。DNNを非線形力学系としてモデル化する。
• 位相的エントロピーとリャプノフ指数を用いて、DNNダイナミクスの複雑さを定量化すること。
• DNNにおけるカオス的ダイナミクスとその分類および一般化能力との関連をリンクさせること。
• DNNの階層的・再帰的構造に基づいて、ヴァプニク＝チェルヴォネンキス（VC）次元の下界を導出すること。
• 非線形変換による分類境界の歪みとDNNにおけるカオス的挙動との関連を確立すること。

提案手法

• DNNを階層的・再帰的写像として離散時間力学系としてモデル化：x_i = φ(W_i x_{i-1} + b_i)，ここでφは非線形活性化関数である。
• DNNダイナミクスの位相的エントロピーを分析し、システムの複雑さを定量化する。
• ReLUおよびtanh活性化関数のリャプノフ指数を計算し、カオス的挙動を特徴付ける。
• アフィン変換と逆非線形写像（例：tanh⁻¹）を用いて、DNNが複雑な意思決定境界を線形分離可能形に変形する仕組みをモデル化する。
• 数学的帰納法を適用し、D個の隠れ層を有するDNNが少なくともD+3個のサンプルをシャッタブルできることを証明し、VC次元の下界を確立する。
• 凸包、線形分離可能性、アフィン変換を用いた幾何的議論を用いて、非線形写像後の線形分離可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、形式的に非線形力学系として分析可能であり、その複雑さを理解できるか？
• RQ2 DNNにおけるReLUおよびtanh活性化関数は、正のリャプノフ指数を誘発するか。これはカオス的ダイナミクスを示唆するか？
• RQ3 DNNのカオス的挙動は、非線形分離が困難な複雑なデータを分類する能力とどのように関連するか？
• RQ4 D個の隠れ層を有するDNNのVC次元の下界は何か。その導出根拠はDNNの階層的構造に由来するか？
• RQ5 DNNによる非線形変換は、カオス的ダイナミクスを通じて、複雑な分類境界を線形分離可能形に歪ませるメカニズムとして理解できるか？

主な発見

• ReLUおよびtanh活性化関数の両方において、適切なDNNパラメータ下で正のリャプノフ指数が達成され、ネットワークの非線形変換におけるカオス的ダイナミクスが確認された。
• DNNの位相的エントロピーは、非線形ダイナミクスの複雑さを定量化し、システムの豊かさを測る指標を提供する。
• DNNの逆変換（例：線形＋tanh⁻¹）は、単純な超平面を複雑な非線形意思決定境界に変換でき、DNNが非線形分離を達成できる仕組みを説明する。
• D個の隠れ層を有するDNNは、少なくともD+3個のサンプルをシャッタブルでき、VC次元の下界がD+3であることが確立された。
• DNNのカオス的挙動により、初期には近い特徴ベクトルが分離可能となり、類似したが異なるクラスを区別する上で不可欠である。
• DNNの階層的・再帰的構造により、VC次元の体系的で段階的な解析が可能となり、アーキテクチャの深さと表現能力の関連が明確にされた。