[論文レビュー] ResNet with one-neuron hidden layers is a Universal Approximator

Hongzhou Lin, Stefanie Jegelka|arXiv (Cornell University)|Jun 28, 2018

Model Reduction and Neural Networks参考文献 10被引用数 97

ひとこと要約

この論文は、ReLU活性化をもち一ニューロン隠れ層を持つ非常に深いResNetが、R^d上の任意のLebesgue可積分関数を一様に近似できることを示し、狭いResNetの普遍近似能力を明らかにします。

ABSTRACT

We demonstrate that a very deep ResNet with stacked modules with one neuron per hidden layer and ReLU activation functions can uniformly approximate any Lebesgue integrable function in $d$ dimensions, i.e. $\ell_1(\mathbb{R}^d)$. Because of the identity mapping inherent to ResNets, our network has alternating layers of dimension one and $d$. This stands in sharp contrast to fully connected networks, which are not universal approximators if their width is the input dimension $d$ [Lu et al, 2017; Hanin and Sellke, 2017]. Hence, our result implies an increase in representational power for narrow deep networks by the ResNet architecture.

研究の動機と目的

• 極端な幅制約を受けるResNetアーキテクチャの表現力を調査する。
• 1ニューロンの隠れ層を持つ深さが普遍近似能力をもたらすことを示す。
• 狭いResNetと全結合ネットの普遍近似の限界を比較する。

提案手法

• 1つの隠れニューロンと恒等スキップ接続を持つ基本的な残差ブロックを定義する。
• 有限グリッド上に増加する台形関数（グリッド指示関数）を構築する逐次近似スキームを構築する。
• 基本ブロックがシフト、定数とのmin/max、線形変換とのmin/maxを実現し、区分的定数近似を構築するための証明を行う。
• 1次元構築を帰納法とグリッドセル分解によって高次元へ拡張する。
• 構成されたResNetが任意の区分的定数関数を近似できること、ゆえに密度引数によりl1(R^d)の任意のfを近似できることを示す。

実験結果

リサーチクエスチョン

• RQ1 1ニューロン隠れ層を持つResNetは、R^d上のすべてのLebesgue積分可能関数に対して普遍近似を達成できるか？
• RQ2 入力次元と同じ幅制約の下で、恒等写像を持つResNetアーキテクチャは表現力にどのような影響を与えるか？
• RQ3 区分的定数近似を可能にするために、1ニューロン隠れ層を持つ残差ブロックで実現可能な基本ブロックと演算は何か？
• RQ4 1次元の構成を高次元へ拡張して多次元の普遍近似を達成するにはどうすればよいか？

主な発見

• 1-隠れニューロンブロックとReLU活性化を持つResNetは、l1(R^d)の任意のfを任意の精度で近似できる。
• この構成は、逐次的な台形関数近似と有限グリッド上のグリッド指示関数を用いる。
• 基本的な残差ブロックはシフト、定数とのmin/max、線形変換とのmin/maxを実現し、複雑な関数形状を可能にする。
• 次元に関する帰納法により、1次元の台形構築技術を高次元へ拡張する。
• 近似に必要なグリッドセルの数に応じて隠れユニット/層の数がスケーリングし、1層あたりのユニット数が許容される場合は並列化の可能性がある。