[論文レビュー] Depth-Width Trade-offs for Neural Networks via Topological Entropy

Kaifeng Bu, Yaobo Zhang+1 more|arXiv (Cornell University)|Oct 15, 2020

Neural Networks and Applications参考文献 23被引用数 6

ひとこと要約

この論文は、深層ニューラルネットワークの表現力と力学系のトポロジカルエントロピーの間の新しい関係を確立する。ReLUネットワークの層数 $ l $ と1層あたりのノード数 $ m $ を用いた場合、トポロジカルエントロピーの上界が $ O(l/\log m) $ であることを導出し、関数のトポロジカルエントロピーに基づく $ L^\infty $-近似において、ネットワークサイズに指数的下界を示す。これにより、エントロピーに基づく複雑性測度を通じて、深さと幅のトレードオフが明らかになる。

ABSTRACT

One of the central problems in the study of deep learning theory is to understand how the structure properties, such as depth, width and the number of nodes, affect the expressivity of deep neural networks. In this work, we show a new connection between the expressivity of deep neural networks and topological entropy from dynamical system, which can be used to characterize depth-width trade-offs of neural networks. We provide an upper bound on the topological entropy of neural networks with continuous semi-algebraic units by the structure parameters. Specifically, the topological entropy of ReLU network with $l$ layers and $m$ nodes per layer is upper bounded by $O(l\log m)$. Besides, if the neural network is a good approximation of some function $f$, then the size of the neural network has an exponential lower bound with respect to the topological entropy of $f$. Moreover, we discuss the relationship between topological entropy, the number of oscillations, periods and Lipschitz constant.

研究の動機と目的

• 深層ニューラルネットワークの表現力と力学系からのトポロジカルエントロピーの理論的関係を確立すること。
• トポロジカルエントロピーを複雑性測度として用いて、ニューラルネットワークにおける深さと幅のトレードオフを定量化すること。
• 関数のトポロジカルエントロピーに基づき、その関数を近似するために必要なネットワークサイズに指数的下界を導出すること。
• 連続関数におけるトポロジカルエントロピー、振動回数、周期、リプシッツ定数の関係を調査すること。
• トポロジカル不変量を通じて、深層学習における一般化と近似複雑性の理解の基盤を提供すること。

提案手法

• 連続関数の複雑性測度としてトポロジカルエントロピーを定義し、開被覆と最小部分被覆の基数の増加率に基づく。
• アドラー＝コニハイム＝マクアンドリューの定義を用いて、ニューラルネットワーク関数の複雑性を分析する。
• ReLUネットワークのトポロジカルエントロピーの上界を、活性化ユニットの半代数的構造を活用して $ O(l \log m) $ として導出する。
• $ L^\infty $-近似に必要なReLUネットワークのサイズに下界を確立し、幅 $ m $ が $ m = \exp(\Omega(h_{\text{top}}(f)/l)) $ を満たすことを示す。
• 繰り返し関数のリプシッツ定数の漸近的挙動を分析し、部分加法性および変動に基づく特徴づけを用いて、トポロジカルエントロピーと関連付ける。
• $ L^\infty $-収束におけるトポロジカルエントロピーの下付き連続性を用いて、$ L^\infty $-近似におけるネットワークサイズに対する指数的下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 トポロジカルエントロピーは、深層ニューラルネットワークが表現可能な関数の複雑性測度としてどのように機能するか？
• RQ2 深さ $ l $ と幅 $ m $ のReLUネットワークのトポロジカルエントロピーの上界は何か？
• RQ3 与えられた関数 $ f $ を $ L^\infty $-近似するために必要なネットワークサイズの最小値は、関数 $ f $ のトポロジカルエントロピーとどのように関係するか？
• RQ4 連続関数において、トポロジカルエントロピー、振動回数、周期、リプシッツ定数はどのように関連しているか？
• RQ5 $ L^\infty $-収束におけるトポロジカルエントロピーの下付き連続性を活用して、ネットワークサイズに対する指数的下界を証明できるか？

主な発見

• 層数 $ l $、1層あたりノード数 $ m $ のReLUネットワークのトポロジカルエントロピーは、$ O(l \log m) $ で上界が与えられる。
• 任意の関数 $ f $ に対して、$ L^\infty $-近似に必要な $ l $ 層・幅 $ m $ のReLUネットワークでは、$ m = \exp(\Omega(h_{\text{top}}(f)/l)) $ を満たすことが示され、関数のトポロジカルエントロピーに指数的下界が存在することが示される。
• 極限 $ \lim_{k\to\infty} \frac{1}{k} \log_2 L(f^k) $ は存在し、$ h_{\text{top}}(f) $ 以上である。ここで $ L(f^k) $ は $ f $ の $ k $ 回繰り返しのリプシッツ定数である。
• 関数 $ f $ が区分的単調であり、$ L(f^k) \geq 1 $ である場合、$ L(f^k) \geq 2^{k h_{\text{top}}(f)} $ が成り立ち、トポロジカルエントロピーが正であればリプシッツ定数が指数関数的に増加することが示される。
• 関数 $ f $ のトポロジカルエントロピーは、$ h_{\text{top}}(f) = \lim_{k\to\infty} \frac{1}{k} \log_2 \text{Var}(f^k) $ を満たす。ここで $ \text{Var}(f^k) $ は $ f $ の $ k $ 回繰り返しの変動である。
• $ L^\infty $-収束におけるトポロジカルエントロピーの下付き連続性は、$ L^\infty $-近似におけるネットワークサイズに対する指数的下界を証明する上で重要な要素である。