[論文レビュー] Learning Deep ResNet Blocks Sequentially using Boosting Theory

Furong Huang, Jordan T. Ash+2 more|arXiv (Cornell University)|Jun 15, 2017

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 31

ひとこと要約

本稿では、深層ResNetアーキテクチャのための新しいトレーニングアルゴリズムであるBoostResNetを提案する。この手法は、マルチチャネル拡張和ブースティングフレームワークを用いて、残差ブロックを段階的にトレーニングする。弱学習条件の下で深さに応じて指数関数的に誤差が減少することを証明し、エンドツーエンドのバックプロパゲーションと比較して優れた計算効率と同等または優れた精度を達成する。特に微分不能な設定において顕著である。

ABSTRACT

Deep neural networks are known to be difficult to train due to the instability of back-propagation. A deep \emph{residual network} (ResNet) with identity loops remedies this by stabilizing gradient computations. We prove a boosting theory for the ResNet architecture. We construct $T$ weak module classifiers, each contains two of the $T$ layers, such that the combined strong learner is a ResNet. Therefore, we introduce an alternative Deep ResNet training algorithm, \emph{BoostResNet}, which is particularly suitable in non-differentiable architectures. Our proposed algorithm merely requires a sequential training of $T$ "shallow ResNets" which are inexpensive. We prove that the training error decays exponentially with the depth $T$ if the \emph{weak module classifiers} that we train perform slightly better than some weak baseline. In other words, we propose a weak learning condition and prove a boosting theory for ResNet under the weak learning condition. Our results apply to general multi-class ResNets. A generalization error bound based on margin theory is proved and suggests ResNet's resistant to overfitting under network with $l_1$ norm bounded weights.

研究の動機と目的

• エンドツーエンドのバックプロパゲーションが負担をかける計算コストとメモリ使用量を回避する理論的裏付けのある効率的トレーニングアルゴリズムを、深層ResNetアーキテクチャに開発すること。
• 予測ラベルではなく学習済み表現（特徴量）を対象とする深層学習のための新しいブースティング理論を確立すること。
• 弱学習条件を満たす浅いResNetの段階的トレーニングが、深さが増すにつれて指数関数的に減少するトレーニング誤差をもたらすことを証明すること。
• マージン理論に基づく一般化誤差バウンドを提示し、l1重み制約下での過学習へのロバスト性を示唆すること。
• BoostResNetがトレーニング速度とメモリ効率においてエンドツーエンドバックプロパゲーションを上回りつつ、テスト精度を維持または向上させることを示すこと。

提案手法

• ResNetにおける階層的特徴変換を弱学習器の系列としてモデル化するため、マルチチャネル拡張和ブースティングフレームワークを導入する。
• 各残差ブロックを順次トレーニングする段階的トレーニングアルゴリズムであるBoostResNetを提案する。予測誤差に基づくマージンベース損失関数を用い、弱学習オракルによるモデル更新を実施する。
• 予測誤差に応じて動的に変化するコスト関数を採用し、ガンマしきい値によるサンプル再重み付けをガイドすることで一般化性能を向上させる。
• 各ブロックがランダム推測よりわずかに優れた性能（γt > 0）を示す弱学習条件を満たすことで、深さに応じて指数関数的に誤差が減少することを保証する。
• マージン理論に基づく一般化誤差バウンドを適用し、l1正則化された重みが過学習を防ぐのに寄与することを示す。
• BoostResNetのトレーニング後にエンドツーエンドバックプロパゲーションを用いたリファインステップを統合し、さらに精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 予測ラベルではなく学習済み表現（特徴量）を対象とするブースティング理論を、深層ニューラルネットワークに適用できるか？
• RQ2 弱学習条件を満たす浅い残差ブロックの段階的トレーニングが、深層ResNetにおいて指数関数的な誤差低減をもたらすか？
• RQ3 ブースティングベースのトレーニングアルゴリズムが、エンドツーエンドバックプロパゲーションよりも計算効率とメモリ使用量に優れるか？
• RQ4 BoostResNetの一般化誤差は深さにどのように依存するか？また、l1正則化は過学習防止に果たす役割は何か？
• RQ5 BoostResNetは、テンソル分解やその他のスペクトル学習手法を用いる微分不能なアーキテクチャにも効果的に適用可能か？

主な発見

• 各残差ブロックが弱学習条件（γt > 0）を満たす限り、BoostResNetは深さTが増加するにつれてトレーニング誤差が指数関数的に減少する。
• SVHNデータセットでは、BoostResNetはたった3×10⁸回の勾配更新で93.8％のテスト精度に到達した。一方、同じ条件下でe2eBPは83％にとどまった。
• CIFAR-10では、BoostResNetはe2eBPよりも収束が速く、e2eBPを用いたリファイン処理を施した後、最適でないResNetアーキテクチャでも同等のテスト精度を達成した。
• BoostResNetでは、GPUメモリ上に保持されるのは1つの残差ブロックのみであるため、メモリ使用量が著しく削減された。ネットワークの深さに比例してGPUメモリ要件が低減された。
• アルゴリズムはe2eBPよりも計算的に効率的であり、レイヤー単位の段階的最適化により、はるかに少ない勾配更新回数で済む。
• マージン理論に基づく一般化誤差バウンドから、l1正則化された重みがBoostResNetにおける過学習へのロバスト性を高めることを示唆している。