[論文レビュー] The Upper Bound on Knots in Neural Networks

Kai Chen|arXiv (Cornell University)|Nov 29, 2016

Neural Networks and Applications参考文献 6被引用数 10

ひとこと要約

本稿は、ℝからℝᵖへの写像を行う深く完全結合型ReLUニューラルネットワークの折りたたみ数（1階微分における不連続点）の正確できつい上限を導出する。このようなネットワークを多次元線形スプラインとしてモデル化することで、最大折りたたみ数がすべての隠れ層の幅の積にほぼ比例して増加することを証明し、わずかな幅制約のもとでこの上限が達成可能であることを示した。これにより、単一入力ネットワークの表現力の理論的限界が得られる。

ABSTRACT

Neural networks with rectified linear unit activations are essentially multivariate linear splines. As such, one of many ways to measure the "complexity" or "expressivity" of a neural network is to count the number of knots in the spline model. We study the number of knots in fully-connected feedforward neural networks with rectified linear unit activation functions. We intentionally keep the neural networks very simple, so as to make theoretical analyses more approachable. An induction on the number of layers $l$ reveals a tight upper bound on the number of knots in $\mathbb{R} o \mathbb{R}^p$ deep neural networks. With $n_i \gg 1$ neurons in layer $i = 1, \dots, l$, the upper bound is approximately $n_1 \dots n_l$. We then show that the exact upper bound is tight, and we demonstrate the upper bound with an example. The purpose of these analyses is to pave a path for understanding the behavior of general $\mathbb{R}^q o \mathbb{R}^p$ neural networks.

研究の動機と目的

• 深層ReLUネットワークにおける折りたたみ数（かぎれ点）の正確な理論的上限を確立し、モデルの複雑さと表現力を測る指標とする。
• この上限がきつい条件となる構造的制約を分析し、与えられたタスクに対して事前的にネットワーク容量を評価可能にする。
• 多変数入力空間ℝ^𝑞→ℝ^𝑝への拡張のための基盤的枠組みを提供する。これは依然として解析的に困難な分野である。
• 表現力の理論的「壁」を提供し、ネットワークアーキテクチャ設計を支援する。具体的には、可能な限り高い区分的線形複雑性を特定する。

提案手法

• ℝ→ℝᵖ空間における連続的で区分的線形関数（線形スプライン）として完全結合ReLUネットワークをモデル化し、折りたたみは出力における非微分可能性の点に対応する。
• 層数𝑙に関する帰納法を用いて、折りたたみ数の正確な上限を導出。その上限は𝑚_𝑙 ≤ ∑_{𝑖=1}^{𝑙} 𝑛_𝑖 ∏_{𝑗=𝑖+1}^{𝑙} (𝑛_𝑗 + 1) として表される。
• ネットワークの変換を標準化し、前方を向いたReLUユニットのみを用いるようにすることで、層間における折りたたみ生成の解析を単純化する。
• 各隠れ層𝑖（最後の層を除く）に𝑛_𝑖 ≥ 3、最終隠れ層に𝑛_𝑙 ≥ 2の条件を満たすネットワーク構成を明示的に構築することで、上限のきつさを実証する。
• 3層の隠れ層を有する詳細な例を通じて上限の妥当性を検証し、各層が歯型のような活性化パターンにより折りたたみ数を最大に増加させることを示す。
• 出力層は区分的線形出力を組み合わせるが、折りたたみ数に影響を及ぼさない。これにより、最終隠れ層の折りたたみ数が保たれる。

実験結果

リサーチクエスチョン

• RQ1 深さと幅が与えられた場合、深層ReLUネットワークが有する最大折りたたみ数は何か？
• RQ2 この上限がきつい条件は何か？実際の応用で達成可能か？
• RQ3 単一入力・多出力ReLUネットワークにおいて、折りたたみ数は深さと幅が増加するにつれてどのように増加するか？
• RQ4 理論的上限を、関数近似タスクに適したネットワークの複雑さを事前に判断するための制約条件として利用可能か？
• RQ5 最大折りたたみ数を達成するために必要なネットワークの構造的特性（重み、バイアスなど）は何か？

主な発見

• 𝑙層のReLUネットワークにおける折りたたみ数の上限は、正確に𝑚_𝑙 ≤ ∑_{𝑖=1}^{𝑙} 𝑛_𝑖 ∏_{𝑗=𝑖+1}^{𝑙} (𝑛_𝑗 + 1) で与えられ、幅が大きい場合には𝑛₁⋯𝑛_𝑙に近似される。
• 各隠れ層𝑖（最後の層を除く）に𝑛_𝑖 ≥ 3、最終隠れ層に𝑛_𝑙 ≥ 2の条件を満たす場合、この上限はきつい。
• 3層の隠れ層（𝑛₁=3, 𝑛₂=4, 𝑛₃=2）を有する構成例では、正確に83個の折りたたみが達成され、理論的上限と一致する。
• 折りたたみ数は層の幅に乗算的に増加するため、単一入力の場合でも深さに伴い指数的表現力が増加することが示唆される。
• この上限はReLU活性化関数と完全結合アーキテクチャの仮定のもとで導出され、出力全体に対して適用され、各出力次元ごとは別に適用されない。
• 本研究の結果により、ℝ→ℝ^𝑝ネットワークの表現力に理論的上限が確立され、複雑なタスクに不適切な幅・深さのネットワークを除外するための基準が得られる。