[論文レビュー] Identity Matters in Deep Learning

Moritz Hardt, Tengyu Ma|arXiv (Cornell University)|Nov 14, 2016

Adversarial Robustness in Machine Learning被引用数 76

ひとこと要約

この論文は、重みがゼロのときに残差ブロックが恒等関数を表現できる『恒等パラメータ化』が、深層学習における最適化と表現力の両面で顕著な向上をもたらすことを確立している。著者らは、深層線形残差ネットワークに偽の局所最適解が存在しないことを証明し、十分なパラメータ数を持つReLUベースの残差ネットワークが有限データセット上で任意の関数を普遍的に表現可能であることを示した。これにより、バッチ正規化やドロップアウトを用いないすべての畳み込み層から構成されるアーキテクチャが、CIFARおよびImageNetで最先端の性能を達成した。

ABSTRACT

An emerging design principle in deep learning is that each layer of a deep artificial neural network should be able to easily express the identity transformation. This idea not only motivated various normalization techniques, such as \emph{batch normalization}, but was also key to the immense success of \emph{residual networks}. In this work, we put the principle of \emph{identity parameterization} on a more solid theoretical footing alongside further empirical progress. We first give a strikingly simple proof that arbitrarily deep linear residual networks have no spurious local optima. The same result for linear feed-forward networks in their standard parameterization is substantially more delicate. Second, we show that residual networks with ReLu activations have universal finite-sample expressivity in the sense that the network can represent any function of its sample provided that the model has more parameters than the sample size. Directly inspired by our theory, we experiment with a radically simple residual architecture consisting of only residual convolutional layers and ReLu activations, but no batch normalization, dropout, or max pool. Our model improves significantly on previous all-convolutional networks on the CIFAR10, CIFAR100, and ImageNet classification benchmarks.

研究の動機と目的

• 深層残差ネットワークにおける恒等パラメータ化の設計原理を理論的に正当化すること。
• モデルサイズがサンプルサイズを上回る場合、ReLU活性化関数を用いた残差ネットワークが有限データセット上で任意の関数を普遍的に表現できることを示すこと。
• バッチ正規化やドロップアウトを含まないシンプルなすべての畳み込みアーキテクチャが、画像分類ベンチマークで最先端の性能を達成できることを実証すること。
• 最適化と表現力の保証から導かれるアーキテクチャ的原則を理論と実践の橋渡しにすること。
• バッチ正規化やドロップアウトのような正則化テクニックへの依存を減らすことで、深層学習アーキテクチャを単純化すること。

提案手法

• 重み行列のスペクトルノルムが小さい場合、勾配が唯一グローバル最適解でのみ消えることを示すことで、深層線形残差ネットワークに偽の局所最適解が存在しないことを証明する。
• 重みがゼロのときに恒等関数を表現できる形の因子化パラメータ化 $(I + A_\ell)\cdots(I + A_1)$ を用いる。
• ReLUベースの残差ネットワークが $n$ 個のサンプル上で任意の関数を表現可能であることを示す普遍的有限サンプル表現力の証明を行う。この場合、パラメータ数は $O(n\log n + r^2)$ で十分である。
• バッチ正規化、ドロップアウト、プーリング層を一切含まない、最小限のすべての畳み込み層から構成されるアーキテクチャを設計する。
• データオーグメンテーションを用い、バッチ正規化やドロップアウトに依存せず、標準的な最適化（モーメンタムSGD）と深さ、スキップ接続による性能向上を実現する。
• CIFAR-10、CIFAR-100、ImageNetベンチマークでモデルを評価し、先行するすべての畳み込み層から構成されるアーキテクチャや残差ネットワークと比較する。

実験結果

リサーチクエスチョン

• RQ1 残差ネットワークにおける恒等パラメータ化は、深層線形ネットワークにおける偽の局所最適解を排除できるか？
• RQ2 十分なモデル容量を持つReLUベースの残差ネットワークは、有限データセット上で任意の関数を普遍的に表現可能か？
• RQ3 バッチ正規化やドロップアウトを含まない最小限のすべての畳み込みアーキテクチャが、画像分類ベンチマークで最先端の性能を達成できるか？
• RQ4 恒等パラメータ化されたネットワークに最適化の障壁がないことは、より良い一般化性能や訓練安定性に繋がるか？
• RQ5 恒等パラメータ化の理論的利点は、シンプルで洗練されたアーキテクチャを用いて実際の応用でも実現可能か？

主な発見

• 深層線形残差ネットワークには偽の局所最適解が存在しない：すべての重み行列のスペクトルノルムが $O(1/\ell)$ の場合、勾配は唯一グローバル最適解でのみ消えるため、最適解への収束が保証される。
• 行列式が正である任意の線形変換 $R$ に対して、各 $\|A_i\| \leq O(1/\ell)$ を満たすグローバル最適解が存在する。これは、深さが大きくなると小さなノルムの解が存在することを示唆している。
• ReLUベースの残差ネットワークには普遍的な有限サンプル表現力がある：$n$ 個のサンプル上で任意の関数を $O(n\log n + r^2)$ パラメータで表現可能である。ここで $r$ はクラス数を表す。
• バッチ正規化やドロップアウトを含まないすべての畳み込み残差モデルは、CIFAR-10で $6.38\%$、CIFAR-100で $24.64\%$ のトップ-1誤差を達成し、先行するすべての畳み込みアーキテクチャを上回った。
• ImageNetでは同じアーキテクチャが $35.29\%$ のトップ-1誤差を達成し、先行するすべての畳み込みアーキテクチャを大きく上回り、過学習しているにもかかわらず、ハイパーパramータチューニングによりさらなる向上が期待できる。
• CIFAR-10では1350万パラメータのモデルでも良好な一般化性能を示しており、明示的な正則化なしに恒等パラメータ化が一般化を支援していることが示唆された。