[論文レビュー] Function approximation by deep networks

H. N. Mhaskar, Tomaso Poggio|arXiv (Cornell University)|May 30, 2019

Neural Networks and Applications参考文献 21被引用数 4

ひとこと要約

この論文は、合成関数（より単純な関数の有向無閉路グラフとして表現可能な関数）を近似する際、深層ニューラルネットワークが浅層ネットワークを上回ることを示している。これは、ターゲット関数の階層構造と構造的類似性を活用することで達成される。主な貢献は、リプシッツ連続性の下で浅層ネットワークの近似定理を深層ネットワークに拡張可能にする『誤差の良好な伝播』という理論的枠組みの確立である。一方、合成性のための自然な測度が存在しないため、標準的な機械学習一般化理論は崩壊することが示されている。

ABSTRACT

We show that deep networks are better than shallow networks at approximating functions that can be expressed as a composition of functions described by a directed acyclic graph, because the deep networks can be designed to have the same compositional structure, while a shallow network cannot exploit this knowledge. Thus, the blessing of compositionality mitigates the curse of dimensionality. On the other hand, a theorem called good propagation of errors allows to `lift' theorems about shallow networks to those about deep networks with an appropriate choice of norms, smoothness, etc. We illustrate this in three contexts where each channel in the deep network calculates a spherical polynomial, a non-smooth ReLU network, or another zonal function network related closely with the ReLU network.

研究の動機と目的

• 深層ネットワークが浅層ネットワークよりも優れた近似能力を示す理論的基盤を確立すること。
• ターゲット関数における合成的構造の役割を形式化し、深層ネットワークがその構造をどのように活用できるかを明らかにすること。
• 『誤差の良好な伝播』定理を発展・適用し、浅層ネットワークの近似結果を深層ネットワークに拡張すること。
• 合成関数の文脈において、古典的機械学習一般化理論の限界を調査すること。
• 深層ReLUネットワークおよび関連ネットワークにおける近似レートとターゲット関数の滑らかさの関係を示す逆定理を提供すること。

提案手法

• 成分関数の有向無閉路グラフ（DAG）としてモデル化された合成関数構造を提案する。
• 成分関数のリプシッツ連続性の下で、浅層ネットワークの近似境界を深層ネットワークに持ち上げるための『誤差の良好な伝播』定理を導入する。
• 理論の説明に、球面多項式、ReLUネットワーク、ゾナール関数ネットワークを具体的な例として用いる。
• 近似誤差をバナッハ空間ノルム、特に球面 C(S^q) 上の一様ノルムの観点から定義する。
• 幅の定理と逆定理を用いて、近似レートの下限と上限を確立する。
• 非線形幅と滑らかさクラス W^γ を用いて、近似誤差の減衰を特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 なぜ深層ネットワークは、特定の関数クラスに対して浅層ネットワークよりも優れた近似レートを達成するのか？
• RQ2 浅層ネットワーク近似に関する定理を、深層ネットワークに体系的に拡張する方法は何か？
• RQ3 ターゲット関数における合成的構造が近似誤差を低減する役割を果たすメカニズムは何か？
• RQ4 なぜ合成関数の文脈では、標準的なバイアス・バリアンス分解が失敗するのか？
• RQ5 近似レートを用いて、ターゲット関数の滑らかさクラスを推定できるか？

主な発見

• ターゲット関数がDAGとして表現可能な合成的構造を持つ場合、深層ネットワークは浅層ネットワークよりも優れた近似レートを達成する。
• 『誤差の良好な伝播』定理により、成分関数がリプシッツ連続である限り、浅層ネットワークの近似定理を深層ネットワークに持ち上げることが可能である。
• ReLUネットワークでは、滑らかさクラス W^γ に属する関数に対して、近似誤差が O(N^{-γ/q}) の割合で減少し、既知の下限と一致する。
• 逆定理により、観察された近似レートから、ターゲット関数が特定の滑らかさクラス W^γ に属していることが示唆される。
• 標準的な L2-ノルム一般化誤差フレームワークは、合成関数では自然な確率測度が存在しないため、失敗する。
• 本フレームワークで最適レートで近似可能な関数クラスは、上界が既知の下限と一致するため、おそらく最良の可能性である。