[論文レビュー] Universal Approximation in Dropout Neural Networks

Oxana A. Manita, Mark A. Peletier+3 more|arXiv (Cornell University)|Dec 18, 2020

Neural Networks and Applications被引用数 11

ひとこと要約

この論文はドロップアウトニューラルネットワークにおける普遍近似定理を確立し、ドロップアウトネットワークのランダムモードおよび決定的モードの両方が、任意の可測関数を任意の精度で近似できることを証明している。期待値の代数的性質と再帰的ネットワーク展開を活用することで、活性化関数やフィルタ分布に関する最小限の仮定のもとで、ドロップアウトネットワークが入力層のエッジがランダムに削除されても普遍近似を維持することを示している。

ABSTRACT

We prove two universal approximation theorems for a range of dropout neural networks. These are feed-forward neural networks in which each edge is given a random $\{0,1\}$-valued filter, that have two modes of operation: in the first each edge output is multiplied by its random filter, resulting in a random output, while in the second each edge output is multiplied by the expectation of its filter, leading to a deterministic output. It is common to use the random mode during training and the deterministic mode during testing and prediction. Both theorems are of the following form: Given a function to approximate and a threshold $\varepsilon>0$, there exists a dropout network that is $\varepsilon$-close in probability and in $L^q$. The first theorem applies to dropout networks in the random mode. It assumes little on the activation function, applies to a wide class of networks, and can even be applied to approximation schemes other than neural networks. The core is an algebraic property that shows that deterministic networks can be exactly matched in expectation by random networks. The second theorem makes stronger assumptions and gives a stronger result. Given a function to approximate, it provides existence of a network that approximates in both modes simultaneously. Proof components are a recursive replacement of edges by independent copies, and a special first-layer replacement that couples the resulting larger network to the input. The functions to be approximated are assumed to be elements of general normed spaces, and the approximations are measured in the corresponding norms. The networks are constructed explicitly. Because of the different methods of proof, the two results give independent insight into the approximation properties of random dropout networks. With this, we establish that dropout neural networks broadly satisfy a universal-approximation property.

研究の動機と目的

• ドロップアウトニューラルネットワークがランダムなエッジフィルタリングに対しても普遍近似性質を満たすことを確立すること。
• ドロップアウトの確率的性質が任意の関数を近似する能力に影響を及ぼすかどうかを分析すること。
• ドロップアウトネットワークのランダムモードおよび決定的モードの両方が、任意の近似精度に達できることを示すこと。
• ReLUネットワークにとどまらず、広範な活性化関数およびフィルタ分布のクラスへと普遍近似結果を拡張すること。
• Lqノルムおよび確率ノルムの両方で、ターゲット関数を近似する明示的なドロップアウトネットワークの構築を提供すること。

提案手法

• 期待値において決定的ネットワークと一致する代数的性質を用いて、ランダムモードにおけるドロップアウトネットワークの普遍近似定理を証明する。
• エッジを独立なコピーに再帰的に置き換えることで分散を制御し、確率収束を保証するネットワークを構築する。
• 拡張されたネットワークを入力に接続する専用の第一層置換を導入し、出力分布の制御を可能にする。
• 期待値–分散分解を用いて、Lqノルムおよび確率ノルムにおける近似誤差の上限を求める。
• 一般のノルム付き関数空間に結果を適用し、適切なセミノルムで近似が測定されることを保証する。
• ネットワーク出力における置換対称性を活用することで、入力層のドロップアウトが普遍近似を妨げないことを示す。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトニューラルネットワークは、ランダムモードおよび決定的モードの両方で、任意の可測関数を任意の精度で近似できるか？
• RQ2 ドロップアウトによって導入されるランダム性が、標準ニューラルネットワークの普遍近似性質を損なうか？
• RQ3 活性化関数の性質やフィルタ分布に関する仮定が、ドロップアウトネットワークの近似能力にどの程度影響を及ぼすか？
• RQ4 入力層のエッジがランダムにドロップアウトされる場合でも、普遍近似が達成可能か？
• RQ5 推論時に期待値置換ドロップアウトが優れた性能を示す理論的根拠はあるか？

主な発見

• ランダムモードにおけるドロップアウトネットワークに対して普遍近似定理が成立する：任意の ε > 0 およびターゲット関数 ζ に対して、近似誤差が ε を超える確率が ε よりも小さいようなドロップアウトネットワークが存在する。
• 近似誤差は Lq ノルムで有界である：任意の ε > 0 に対して、誤差の Lq ノルムが ε よりも小さいようなドロップアウトネットワークが存在する。
• 第一の定理は、エッジベースのドロップコネクトやノードベースのドロップアウトを含む、広範な活性化関数およびフィルタ分布のクラスに適用可能で、最小限の仮定で成立する。
• 第二の定理は、単一のネットワークがランダムモードおよび決定的モードの両方でターゲット関数を良好に近似できることを構築する。
• 証明は、第一層を並列に複製することで拡大し、出力分布の制御に置換対称性を活用することに依存している。
• 入力層のドロップアウトがあっても、確率的実現が互いに置換である可能性が非常に高いことから、依然として普遍近似が達成可能である。