[論文レビュー] The phase diagram of approximation rates for deep neural networks

Dmitry Yarotsky, Anton Zhevnerchuk|arXiv (Cornell University)|Jun 22, 2019

Machine Learning in Materials Science参考文献 25被引用数 30

ひとこと要約

この論文は、深層ニューラルネットワークにおける近似速度の相図を確立し、ReLUネットワークが $ r $-滑らか関数に対して $ r/d $ まで最適なレートを達成することを証明している。また、区分的多項式活性化関数を用いるネットワークも同じ相図を持つことが示されている。さらに、周期的活性化関数を備えた深層フーリエネットワークは、高精度な重み符号化による効率的なルックアップ操作を可能にし、ほぼ指数関数的な近似速度を達成することが分かった。

ABSTRACT

We explore the phase diagram of approximation rates for deep neural networks and prove several new theoretical results. In particular, we generalize the existing result on the existence of deep discontinuous phase in ReLU networks to functional classes of arbitrary positive smoothness, and identify the boundary between the feasible and infeasible rates. Moreover, we show that all networks with a piecewise polynomial activation function have the same phase diagram. Next, we demonstrate that standard fully-connected architectures with a fixed width independent of smoothness can adapt to smoothness and achieve almost optimal rates. Finally, we consider deep networks with periodic activations ("deep Fourier expansion") and prove that they have very fast, nearly exponential approximation rates, thanks to the emerging capability of the network to implement efficient lookup operations.

研究の動機と目的

• ネットワークの複雑さ、アーキテクチャ、活性化関数、近似精度の間のトレードオフの限界を体系的に分析すること。
• さまざまな関数クラスにおいて、深層ネットワークの近似速度の理論的境界を特定すること。
• 異なるネットワーク条件下での実現可能および非実現可能な近似速度の相図を同定すること。
• 固定された幅を持つ全結合ネットワークが滑らかさに適応し、ほぼ最適なレートを達成できることを示すこと。
• 周期的活性化関数を備えた深層フーリエネットワークが、ほぼ指数関数的な収束速度を達成できることを示すこと。

提案手法

• 先行研究におけるReLUネットワークの深層不連続フェーズを、任意の正の滑らかさ $ r $ に一般化し、高精度近似のための重みの2進表現を用いる。
• 1つのパッチあたり1つの重みに関数値を符号化するビット抽出を介して、関数値を符号化するネットワークアーキテクチャを構築し、高レート近似を可能にする。
• 近似されたパリティ関数 $ \widetilde{\theta}_a(x) = \min(1, \max(-1, a\sigma(x))) $ を用いたユニット分割に基づく分区画を用い、重なりのない立方体パッチを分離し、境界干渉を回避する。
• ReLUサブネットワークを用いて乗算および加算演算を実装し、フィルタリングされた近似を組み合わせる。各演算の複雑さは $ O(\log(1/\epsilon)) $ である。
• 重みに符号化された総情報量が $ \epsilon^{-d/r} \log(1/\epsilon) $ のスケールで増加することを証明し、フーリエネットワークにおけるほぼ指数関数的レートの実現を可能にする。
• 活性化関数の役割を分析し、区分的多項式活性化関数を備えたすべてのネットワークが、同じ近似速度の相図を持つことを示す。

実験結果

リサーチクエスチョン

• RQ1 滑らかさ $ r $、深さ、幅、活性化関数の種類に関して、深層ニューラルネットワークの近似速度の理論的限界は何か？
• RQ2 滑らかさの変動に適応でき、ほぼ最適なレートを達成できる、幅が滑らかさに依存しない全結合ネットワークは可能か？
• RQ3 区分的多項式と周期的の両方の活性化関数構造が、近似相図を決定づける役割を果たすとは何か？
• RQ4 高精度な重み表現は、深層フーリエネットワークにおけるほぼ指数関数的近似速度をどのように可能にするか？
• RQ5 連続性とVC次元制約下での、実現可能と非実現可能な近似速度の境界は何か？

主な発見

• ReLUネットワークの近似速度の相図が、任意の正の滑らかさ $ r $ に一般化され、連続的重み割り当て下で最適レートが $ p = r/d $ で制限されることを示した。
• ReLUを含む、すべての区分的多項式活性化関数を備えた深層ネットワークは、同じ相図を持つ。連続性の仮定なしに最大実現可能レートは $ p = 2r/d $ である。
• 滑らかさに依存しない固定幅の標準的全結合ネットワークは、$ r $ に適応でき、$ r/d $ に限りなく近い近似レートを達成できる。これは線形幅の境界と一致する。
• 周期的活性化関数を備えた深層ネットワークは、
• ネットワーク重みに符号化された総情報量は $ \epsilon^{-d/r} \log(1/\epsilon) $ のスケールで増加し、深層フーリエネットワークアーキテクチャでほぼ指数関数的近似速度を実現可能にする。
• フィルタリング関数 $ \Psi_0, \Psi_1 $ を用いたユニット分割により、パッチごとの近似が安定化され、不重複なサポートと境界エラーの回避が保証される。