[論文レビュー] Depth-Width Trade-offs for ReLU Networks via Sharkovsky's Theorem

Vaggos Chatziafratis, Sai Ganesh Nagarajan+2 more|arXiv (Cornell University)|Apr 30, 2020

Model Reduction and Neural Networks参考文献 28被引用数 2

ひとこと要約

この論文は、再帰的関数の表現力と力学系理論におけるSharkovskyの定理を結びつけることで、ReLUネットワークの深さと幅のトレードオフを確立している。特に、周期的点（特に周期3）を持つ関数は、深さが制限されている場合、指数関数的に広い幅を必要とする。主な貢献は、目的関数の力学的ダイナミクスにおける固定点の周期に基づいて、ネットワーク幅の一般化された下界を導出することにある。

ABSTRACT

Understanding the representational power of Deep Neural Networks (DNNs) and how their structural properties (e.g., depth, width, type of activation unit) affect the functions they can compute, has been an important yet challenging question in deep learning and approximation theory. In a seminal paper, Telgarsky high- lighted the benefits of depth by presenting a family of functions (based on sim- ple triangular waves) for which DNNs achieve zero classification error, whereas shallow networks with fewer than exponentially many nodes incur constant error. Even though Telgarsky’s work reveals the limitations of shallow neural networks, it doesn’t inform us on why these functions are difficult to represent and in fact he states it as a tantalizing open question to characterize those functions that cannot be well-approximated by smaller depths. In this work, we point to a new connection between DNNs expressivity and Sharkovsky’s Theorem from dynamical systems, that enables us to characterize the depth-width trade-offs of ReLU networks for representing functions based on the presence of a generalized notion of fixed points, called periodic points (a fixed point is a point of period 1). Motivated by our observation that the triangle waves used in Telgarsky’s work contain points of period 3 – a period that is special in that it implies chaotic behaviour based on the celebrated result by Li-Yorke – we proceed to give general lower bounds for the width needed to represent periodic functions as a function of the depth. Technically, the crux of our approach is based on an eigenvalue analysis of the dynamical systems associated with such functions.

研究の動機と目的

• 浅いネットワークが特定の関数を近似しにくい理由を理解し、Telgarskyの三角波関数に関する研究を拡張する。
• 幅が狭く浅いネットワークで表現しにくい関数の構造的性質を特定する。
• ニューラルネットワークの表現力と力学系理論（特に周期的点）との間に明確な関係を定式化する。
• 関数の力学的複雑さに基づいて、周期関数を表現するために必要なネットワーク幅の一般化された下界を導出する。
• 浅いネットワークでうまく近似できない関数を特定するというTelgarskyの未解決問題を解決する。

提案手法

• 周期的点の存在、特に周期3の存在を分析するためにSharkovskyの定理を適用し、カオス的ダイナミクスを示唆する。
• 関数の振る舞いを力学系としてモデル化し、関連する固有値を分析することで表現の複雑さを推定する。
• 周期kの周期的点の存在を、浅いネットワークによる近似を制限する本質的複雑性の兆候として扱う。
• 周期的点の数とReLUネットワークが形成できる線形領域の数を関連させることで、ネットワーク幅の下界を導出する。
• 関数に周期3の点がある場合、その関数を低誤差で近似するには指数関数的に広い浅いネットワークが必要であることを、系のヤコビアンの固有値解析に基づいて示す。
• Telgarskyの構成を一般化し、三角波の役割を特定の力学的性質を持つより広い周期関数のクラスに拡張する。

実験結果

リサーチクエスチョン

• RQ1 連続的かつ区分的線形であるにもかかわらず、なぜ特定の関数（例：Telgarskyの三角波）は浅いReLUネットワークで近似しにくいのか？
• RQ2 特定の関数に対して浅いネットワークに表現のボトルネックをもたらす力学系理論的性質は何か？
• RQ3 周期的点（特に周期3）の存在は、ReLUネットワークが関数を表現するために必要な最小幅にどのように関係するか？
• RQ4 Sharkovskyの定理を用いて、深さと関数の複雑さを関数とするネットワーク幅の一般化された下界を導出できるか？
• RQ5 固有値解析は、浅いReLUネットワークの表現力の限界を定量化するために果たす役割は何か？

主な発見

• Sharkovskyの定理によりカオス的挙動を示唆する周期3の点を含む関数は、低誤差近似を達成するためには指数関数的に広い浅いReLUネットワークを必要とする。
• 関数に周期kの周期的点が存在する場合、それを表現するために必要な最小幅に下界が存在し、その下界は周期が大きくなるにつれて増大する。
• 解析により、関数の力学的複雑さ（周期的点の有無）が、効率的な表現に必要なネットワーク幅を直接決定することが明らかになった。
• 指数関数的数のニューロンをもたない浅いネットワークでは、周期3の点を持つ関数を低誤差で近似できないことが確認され、根本的な制限が示された。
• 目的関数に関連する力学系の固有値解析は、これらの幅の下界を導出する定量的ツールを提供する。
• この論文はTelgarskyの結果を三角波に限らず、周期3の点の存在が本質的な要因であることを示すことで、一般化した。