[論文レビュー] Why ResNet Works? Residuals Generalize

Fengxiang He, Tongliang Liu+1 more|arXiv (Cornell University)|Apr 2, 2019

Advanced Neural Network Applications参考文献 50被引用数 5

ひとこと要約

この論文は、複雑なアーキテクチャにもかかわらず、残差接続（ResNet）がなぜ一般化性能が良いのかを理論的に分析している。残差接続は、総重量と非線形性の数が固定されている場合、鎖状のネットワークと比較して仮説空間の複雑さを増加させないことを示している。主な貢献は、ResNetの一般化誤差に対して $\/mathcal{O}(1/\sqrt{N})$ のオーダーの一般化境界を導出したことである。この境界は重み行列のノルムの積に依存しており、重み減衰（weight decay）が正則化手法として有効であることを裏付ける。

ABSTRACT

Residual connections significantly boost the performance of deep neural networks. However, there are few theoretical results that address the influence of residuals on the hypothesis complexity and the generalization ability of deep neural networks. This paper studies the influence of residual connections on the hypothesis complexity of the neural network in terms of the covering number of its hypothesis space. We prove that the upper bound of the covering number is the same as chain-like neural networks, if the total numbers of the weight matrices and nonlinearities are fixed, no matter whether they are in the residuals or not. This result demonstrates that residual connections may not increase the hypothesis complexity of the neural network compared with the chain-like counterpart. Based on the upper bound of the covering number, we then obtain an $\mathcal O(1 / \sqrt{N})$ margin-based multi-class generalization bound for ResNet, as an exemplary case of any deep neural network with residual connections. Generalization guarantees for similar state-of-the-art neural network architectures, such as DenseNet and ResNeXt, are straight-forward. From our generalization bound, a practical implementation is summarized: to approach a good generalization ability, we need to use regularization terms to control the magnitude of the norms of weight matrices not to increase too much, which justifies the standard technique of weight decay.

研究の動機と目的

• 残差接続がモデルの複雑さが増す可能性があるにもかかわらず、深層畳み込みニューラルネットワークでなぜ良い一般化性能を示すのかを理解すること。
• カバー数を用いて、残差接続が仮説空間の複雑さに与える影響を分析すること。
• カバー数と重みノルムの積に基づいた、ResNetの一般化境界を導出すること。
• 広く用いられている重み減衰正則化手法の理論的裏付けを提供すること。
• 一般化解析をDenseNet や ResNeXt などの他の残差ベースのアーキテクチャへ拡張すること。

提案手法

• 著者らは、主なチェーン（スタム）と残差スキップ接続を分離するためのスタム・バインフレームワークを定義し、残差接続付きの深層ニューラルネットワークをモデル化している。
• 仮説空間のカバー数に対する上界を導出し、重み行列がスタム内にあるか残差内にあるかに関わらず、総重量と非線形性の数が固定されている限り、カバー数が変化しないことを示している。
• 標準的な統計的学習理論の手法を用いて、カバー数の上界をもとにラダムシュ複雑度の上界を導出している。
• ResNetのマージンに基づく多クラス一般化境界を、$\mathcal{O}(1/\sqrt{N})$ のオーダーで確立している。ここで $N$ は訓練サンプル数を表す。
• 一般化境界は、すべての重み行列の $L_2$ ノルムの積に依存しており、この積を制御することで一般化性能が向上することを示している。
• 同じカバー数と一般化境界の原則を用いて、DenseNet や ResNeXt などの他の残差アーキテクチャへの理論的枠組みの拡張がなされている。

実験結果

リサーチクエスチョン

• RQ1 残差接続の追加は、深層ニューラルネットワークの仮説空間の複雑さを増加させるか？
• RQ2 同じパラメータ数をもつ鎖状の深層ネットワークと比較して、ResNetにおける仮説空間のカバー数はどのように異なるか？
• RQ3 ResNetの強力な一般化性能を説明する一般化境界を導出できるか？
• RQ4 重み行列のノルムは、残差ネットワークの一般化誤差にどのような役割を果たすか？
• RQ5 提案された理論は、深層残差ネットワークの学習において重み減衰の有効性をどのように裏付けるか？

主な発見

• 総重量行列数と非線形性数が固定されている場合、対応する鎖状ネットワークと同一の値で、残差ネットワークの仮説空間のカバー数が上限づけられる。
• 残差接続は仮説空間の複雑さを増加させず、スキップ接続がモデル容量を増加させるという直感に反する。
• ResNetの一般化境界が、$N$（訓練サンプル数）に対して $\mathcal{O}(1/\sqrt{N})$ のオーダーで導出された。
• 一般化境界は、すべての重み行列の $L_2$ ノルムの積に依存しており、ノルムが大きいと一般化性能が悪化することを示している。
• 理論的分析により、重み減衰が正則化手法として有効であることが裏付けられており、これは重み行列のノルムを制御し、一般化性能の向上に寄与するからである。
• 一般化境界は、DenseNet や ResNeXt などの他の残差アーキテクチャへも、最小限の修正で拡張可能である。