[論文レビュー] Quantified advantage of discontinuous weight selection in approximations with deep neural networks

Dmitry Yarotsky|arXiv (Cornell University)|May 3, 2017

Neural Networks and Applications参考文献 4被引用数 8

ひとこと要約

この論文は、1次元リプシッツ関数に対する近似精度において、連続的でない重み選択を用いる深層ReLUネットワークが、連続的選択よりも顕著に優れた近似精度を達成することを示している。適応的かつキャッシュされたサブネットワークを用いた幅5、深さNのネットワークを構築することで、著者らは誤差バウンドを $ O(1/(N\ln N)) $ として証明し、連続的ケースの $ O(1/N) $ の限界に対して対数的優位性を示している。

ABSTRACT

We consider approximations of 1D Lipschitz functions by deep ReLU networks of a fixed width. We prove that without the assumption of continuous weight selection the uniform approximation error is lower than with this assumption at least by a factor logarithmic in the size of the network.

研究の動機と目的

• 連続的選択と比較して、深層ReLUネットワークにおける不連続な重み選択がもたらす近似の利点を定量化すること。
• 固定幅で深さを変化させる深層フィードフォワードネットワークを用いて、1次元リプシッツ関数の均一近似誤差を分析すること。
• 連続的パrameter依存性に依存せずに、向上した近似レートを実現する特定のネットワークアーキテクチャを構築すること。
• 不連続な重み選択が許可された場合の誤差向上の理論的下界を確立すること。

提案手法

• 高精度を達成するために、キャッシュ関数と区分線形部品を用いた適応的ネットワーク近似を構築する。
• ReLU活性化関数と線形ユニットを用いて、幅5、深さNの標準的深層アーキテクチャへのスムーズな埋め込みを実現する。
• 異なる関数成分に対応する並列サブネットワークを設け、各サブネットワークを標準アーキテクチャの複数の層に実装する。
• バイアス項の調整によりReLUユニットに恒等写像および線形モードを実装し、効率的な信号ルーティングを可能にする。
• 近似誤差とネットワーク深さのバランスを取るために、層数とサブネットワーク数を最適化し、$ T = \lfloor N/8 \rfloor $ および $ m = \lfloor \frac{1}{2} \log_3 N \rfloor $ を使用する。
• 構築されたネットワークが、$ \|f - \widetilde{f}\|_{\infty} \leq \frac{c}{N\ln N} $ を単位球上で一様に満たすことを示している。

実験結果

リサーチクエスチョン

• RQ1 1次元リプシッツ関数に対して、深層ReLUネットワークにおける不連続な重み選択を許可した場合の、定量的近似誤差の向上は何か？
• RQ2 固定幅で深さを変化させる深層ネットワークが、連続的パrameter選択の限界を上回る近似レートを達成できるか？
• RQ3 表現力の損失を伴わずに、適応的かつ不連続な重み選択を標準的深層ネットワークアーキテクチャに埋め込む方法は何か？
• RQ4 不連続な重み選択を用いる場合、ネットワーク深さと近似誤差の最適なトレードオフは何か？
• RQ5 誤差バウンドにおける対数的要因は、深層学習の文脈において、連続的選択に対する根本的な改善を示唆するか？

主な発見

• 幅5の深層ReLUネットワークを用い、1次元リプシッツ関数の近似誤差は、ネットワーク深さ $ N $ に対して $ O(1/(N\ln N)) $ で有界である。
• この誤差バウンドは、連続的重み選択の $ O(1/N) $ の下界を厳密に上回り、対数的改善要因が存在することが示された。
• この改善は、標準的深層アーキテクチャにReLUと線形ユニットを用いて埋め込まれた、適応的かつキャッシュされたサブネットワークの構築によって達成された。
• 深さと誤差のバランスを保つために、$ T = \lfloor N/8 \rfloor $ および $ m = \lfloor \frac{1}{2} \log_3 N \rfloor $ を使用し、総深さが $ N $ を超えないように保証した。
• すべての $ f $ に対して、単位球 $ W^{1,\infty}([0,1]) $ において、一様近似誤差 $ \|f - \widetilde{f}\|_{\infty} \leq \frac{c}{N\ln N} $ を達成した。ここで $ c $ は絶対定数である。
• この結果は、不連続な重み選択が、単純な1次元関数クラスですら、証明可能かつ定量的な近似レートの向上を可能にすることを確認している。