[論文レビュー] Are ResNets Provably Better than Linear Predictors?

Ohad Shamir|arXiv (Cornell University)|Apr 18, 2018

Stochastic Gradient Optimization Techniques参考文献 16被引用数 30

ひとこと要約

この論文は、ネットワークの深さや非線形性が任意である場合でも、アーキテクチャ、データ、損失関数に対する最小限の仮定のもとで、残差ネットワーク（ResNets）に、1層ネットワーク（線形予測子）が達成可能なものより悪い局所的最適解が存在しないことを証明している。さらに、わずかなアーキテクチャ的変更を加えることで、確率的勾配降下法（SGD）が、いかなる線形予測子よりも悪い解に収束しないことを示しており、ResNetの実験的成果の理論的裏付けを提供している。

ABSTRACT

A residual network (or ResNet) is a standard deep neural net architecture, with state-of-the-art performance across numerous applications. The main premise of ResNets is that they allow the training of each layer to focus on fitting just the residual of the previous layer's output and the target output. Thus, we should expect that the trained network is no worse than what we can obtain if we remove the residual layers and train a shallower network instead. However, due to the non-convexity of the optimization problem, it is not at all clear that ResNets indeed achieve this behavior, rather than getting stuck at some arbitrarily poor local minimum. In this paper, we rigorously prove that arbitrarily deep, nonlinear residual units indeed exhibit this behavior, in the sense that the optimization landscape contains no local minima with value above what can be obtained with a linear predictor (namely a 1-layer network). Notably, we show this under minimal or no assumptions on the precise network architecture, data distribution, or loss function used. We also provide a quantitative analysis of approximate stationary points for this problem. Finally, we show that with a certain tweak to the architecture, training the network with standard stochastic gradient descent achieves an objective value close or better than any linear predictor.

研究の動機と目的

• ResNetの核心的仮定を理論的に裏付けること：深さを加えても性能が低下しないこと。
• 深層残差ネットワークの学習が、浅い線形予測子よりも悪い局所的最適解に閉じ込められるかどうかを分析すること。
• 勾配ベースの最適化が、非最適解を避ける条件を確立すること。
• ResNet最適化の実験的成果と理論的理解のギャップを埋めること。

提案手法

• 非線形な残差ユニットと線形出力を持つ任意の残差ネットワークについて、すべての局所的最適解の目的関数値が、最良の線形予測子のものより悪いものではないことを証明する。
• 最適化の地形の幾何的解析を用い、線形予測子の最適値よりも高い位置に局所的最適解が存在しないことを示す。
• オンライン凸最適化への還元を適用し、わずかなアーキテクチャ的変更を仮定したもとでSGD収束を分析する。
• SGDの平均訓練損失が、最良の線形予測子の損失からO(1/√T)以内であることを示す上限を導出する。
• アズマの不等式を用いて、最適化誤差の高確率的集中を確立する。
• 定常点を分析し、ε-近傍の定常点が、任意の線形予測子の性能から多項式的(ε)の範囲内にあることを示す。

実験結果

リサーチクエスチョン

• RQ1 残差ネットワークは、線形予測子が達成可能なものより悪い局所的最適解を避けるか？
• RQ2 標準的なSGDによるResNetの学習は、線形予測子の性能を下回らないことを保証できるか？
• RQ3 ResNetの最適化地形に悪い局所的最適解が存在しない条件は何か？
• RQ4 ResNetにおける近似的な定常点の性能は、線形予測子と比べてどうか？
• RQ5 簡単なアーキテクチャ的変更により、SGDが線形予測子と競合できる解に収束することが保証できるか？

主な発見

• 深層残差ネットワークの最適化地形には、最良の線形予測子の目的関数値よりも悪いものがない。
• ネットワークのパrameter空間においてε-近傍の定常点は、任意の線形予測子の性能から多項式的(ε)の範囲内にある。
• わずかなアーキテクチャ的変更を加えることで、標準的なSGDが、高確率でいかなる線形予測子よりも悪い目的関数値に収束しない。
• SGDの収束速度は、O((bl + r√log(1/δ))/√T)で抑えられ、ここでb, l, rはノルム、リプシッツ定数、損失の上限を表す。
• 仮定は最小限に抑えられている：データ分布、ネットワークアーキテクチャ、損失関数に制限はなく、滑らかさと出力における凸性のみを仮定する。
• 理論的保証は決定的であり、データのサンプリングプロセスに依存しない。