[論文レビュー] Sharp Representation Theorems for ReLU Networks with Precise Dependence on Depth

Guy Bresler, Nagaraj, Dheeraj|arXiv (Cornell University)|Jun 7, 2020

Stochastic Gradient Optimization Techniques参考文献 26被引用数 6

ひとこと要約

この論文は、関数のフーリエスペクトルの不規則な減衰に応じて、ReLUネットワークの次元に依存しない鋭い表現境界を確立する。深さDのネットワークは、クラス$\mathcal{G}_D$に属する関数を$N^{-1}$の最適近似レートで近似可能であることが示され、浅いネットワーク（$D'<D$）は厳密に悪いレート$N^{-D'/D}$を示す。これは深さが滑らかでない関数をより少ないパラメータで表現可能であることを確認する。

ABSTRACT

We prove sharp dimension-free representation results for neural networks with $D$ ReLU layers under square loss for a class of functions $\mathcal{G}_D$ defined in the paper. These results capture the precise benefits of depth in the following sense: 1. The rates for representing the class of functions $\mathcal{G}_D$ via $D$ ReLU layers is sharp up to constants, as shown by matching lower bounds. 2. For each $D$, $\mathcal{G}_{D} \subseteq \mathcal{G}_{D+1}$ and as $D$ grows the class of functions $\mathcal{G}_{D}$ contains progressively less smooth functions. 3. If $D^{\prime} &lt; D$, then the approximation rate for the class $\mathcal{G}_D$ achieved by depth $D^{\prime}$ networks is strictly worse than that achieved by depth $D$ networks. This constitutes a fine-grained characterization of the representation power of feedforward networks of arbitrary depth $D$ and number of neurons $N$, in contrast to existing representation results which either require $D$ growing quickly with $N$ or assume that the function being represented is highly smooth. In the latter case similar rates can be obtained with a single nonlinear layer. Our results confirm the prevailing hypothesis that deeper networks are better at representing less smooth functions, and indeed, the main technical novelty is to fully exploit the fact that deep networks can produce highly oscillatory functions with few activation functions.

研究の動機と目的

• 任意の深さ$D$と幅$N$における深層ReLUネットワークの表現力の微細な特徴付けを提供すること。
• 浅いネットワークが達成できる以上の根本的利点を深さが提供するかどうか、という未解決の問題を解消すること。特に滑らかでない関数の表現において。
• 入力次元に依存しない定数のオーダーで最適な近似レートを確立すること。
• 同じパラメータ数のもとで、深層ネットワークが浅いネットワークよりも広い関数クラス（具体的にはフーリエ変換の尾部がより太い関数）を表現できることを示すこと。

提案手法

• 著者らは、フーリエ変換の減衰率に基づいて関数クラス$\mathcal{G}_D$を定義し、$D$を増やすことで滑らかでない関数を扱えるようにする。
• 上界の証明では、合成的構造を活用して少ないパラメータで高周波数の振動関数を生成する深層ReLUネットワークの構築を行う。
• 下界の証明では、ネットワーク出力がしきい値を何回超えるかを測る「クロッシング数」$\mathsf{Cr}(\hat{f})$の概念を用い、これと近似誤差を関連付ける。
• テスト関数$f(x) = \frac{1 + \cos(\omega x / r)}{2\omega^\alpha}$（$\omega = 2\pi L$）を用いた下界の議論を適用し、浅いネットワークが高周波数の振動を効率的に捉えられないことを示す。
• 証明では、$D$層のReLUネットワークが最大$2(2N_0/D)^D$回のクロッシングしか生成できないことを利用し、高周波数関数の近似能力に制限が生じることを示す。
• ここで$\alpha = 1/(2K)$とすることで、$\left(\frac{D}{N_0}\right)^{D/K}$に比例する下界が得られ、上界と定数のオーダーで一致する。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない関数に対して、深層ReLUネットワークは浅いネットワークよりも優れた近似レートを達成できるか？
• RQ2 ReLUネットワークの近似誤差が深さ$D$と幅$N$にどのように依存するかの正確な依存関係は何か？
• RQ3 深さ$D$のネットワークが$N^{-1}$のレートで表現できる関数クラス$\mathcal{G}_D$が存在し、かつ$D'<D$のネットワークがそれより厳密に悪いレートであるか？
• RQ4 幅を固定した場合でも、深さが増すことでネットワークの表現力が厳密に向上するか？
• RQ5 深さの利点を、$D$が$N$に従って増大する必要のない、鋭く次元に依存しない特徴付けで捉えることができるか？

主な発見

• 関数が$\mathcal{G}_D$に属する場合、$N$個のニューロンを持つ$D$層のReLUネットワークは、二乗損失のもとで近似誤差が$N^{-1}$のオーダーとなり、これは定数のオーダーで最適である。
• $D' < D$のとき、$\mathcal{G}_D$に属する関数に対する$D'$層ネットワークの近似レートは、厳密に悪いものであり、$N^{-D'/D}$に比例する。
• クラス$\mathcal{G}_D$は$D$が増えるにつれて拡大し、深さが増すことでより不規則な関数（具体的にはフーリエ変換の減衰が遅い関数）を扱えるようになる。
• 下界の構成では、クロッシング数に基づいて選ばれた周波数$\omega = 2\pi L$のコサイン関数を用い、深さと幅の間のトレードオフを強制する。
• 下界は、ネットワーク出力がしきい値$1/2$を越えない区間の数を数えることで得られ、浅いネットワークが高周波数の振動を効率的に捉えられないことが示される。
• 結果として、より深いネットワークが滑らかでない関数を表現する点で根本的に優れていることが確認され、その利点はレートにおける指数$D'/D$によって明確に定量化される。