[論文レビュー] Deep Bilevel Learning

Simon Jenni, Paolo Favaro|Bern Open Repository and Information System (University of Bern)|Sep 5, 2018

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 4

ひとこと要約

本稿では、深層ニューラルネットワークの訓練を二段階最適化問題として定式化することで一般化性能を向上させる、新たな正則化手法であるDeep Bilevel Learningを提案する。ミニバッチの重みを検証データの性能に応じて動的に調整することで、特にラベルにノイズが混入している状況でも、標準的なSGDを上回る一般化性能を達成し、CIFAR-10/100、ImageNet、Pascal VOCを含む複数のアーキテクチャおよびデータセットで優れた結果を示す。

ABSTRACT

We present a novel regularization approach to train neural networks that enjoys better generalization and test error than standard stochastic gradient descent. Our approach is based on the principles of cross-validation, where a validation set is used to limit the model overfitting. We formulate such principles as a bilevel optimization problem. This formulation allows us to define the optimization of a cost on the validation set subject to another optimization on the training set. The overfitting is controlled by introducing weights on each mini-batch in the training set and by choosing their values so that they minimize the error on the validation set. In practice, these weights define mini-batch learning rates in a gradient descent update equation that favor gradients with better generalization capabilities. Because of its simplicity, this approach can be integrated with other regularization methods and training schemes. We evaluate extensively our proposed algorithm on several neural network architectures and datasets, and find that it consistently improves the generalization of the model, especially when labels are noisy.

研究の動機と目的

• 既存の正則化手法があるにもかかわらず、特にラベルにノイズが混入している状況下でも、深層ニューラルネットワークにおける過学習という長年の問題に取り組むこと。
• 訓練プロセスに交差検証の原則を直接統合することで、モデルの一般化性能を向上させること。
• 計算効率が良く、標準的な訓練パイプラインと互換性がある、即挿し可能な正則化手法を開発すること。
• 小データおよびノイズ混在データの状況において、一般化ギャップを縮小するための適応的学習率調整を実現すること。

提案手法

• 訓練を二段階最適化問題として定式化：上位層は検証誤差を最適化し、下位層は訓練損失を最適化する。
• 各ミニバッチにスカラー重みを導入し、勾配更新の制御を可能にし、検証データの勾配と整合するものを優遇する。
• 上位層の目的関数を二次関数で近似することで、閉形式の更新式を導出し、計算効率を確保する。
• 訓練データと検証データの勾配一致度を用いてミニバッチの重要度を調整する—一致度が高いほど重みが高くなる。
• ミニバッチ重みを交差検証により最適化するハイパーパrameterとして扱い、モデルと正則化のエンドツーエンド同時最適化を可能にする。
• データオーグメンテーション、ドロップアウト、ラベルスムージングなどの他の正則化手法と組み合わせ可能である。

実験結果

リサーチクエスチョン

• RQ1 二段階最適化は、標準的なSGDを上回る一般化性能を深層ニューラルネットワークに与えるのか、特にラベルにノイズが混入している状況でどうか？
• RQ2 ベンチマークデータセット上で、提案手法は最先端の正則化およびノイズ耐性を持つ学習手法と比較してどのように評価されるか？
• RQ3 二段階学習は、小データ環境および高ノイズラベル下で過学習をどの程度軽減できるか？
• RQ4 既存の正則化手法と組み合わせた場合、本手法は性能向上を維持するのか？

主な発見

• CIFAR-10とCIFAR-100において、最大50％のランダムラベルノイズが混入した状況でも、標準的なSGDに比べて顕著に高いテスト精度を達成し、CIFAR-100では50％のノイズ下で最大5％の向上を示した。
• ImageNetにおいては、事前学習済みネットワークの予測から得た現実的で44％のラベルノイズモデルを用いた場合、トップ-1精度が標準的なSGD（50.75％）に対して2％近く向上（52.69％）した。
• Clothing1Mデータセットでは、ノイズ混在データでの学習のみで69.9％のテスト精度を達成し、最先端手法と同等の性能を示し、クリーンデータでのファインチューニング後には79.9％に向上した。
• Pascal VOC 2007においては、訓練データを削減した状況でも、テストした全データフラクションでmAPが向上し、一般化ギャップが縮小された。
• Zhangら[38]のデータオーグメンテーションと組み合わせた場合、CIFAR-10およびCIFAR-100の両方で最高の性能を達成し、既存の最先端手法を上回った。
• 本手法はResNet、Inception、AlexNetを含む多様なアーキテクチャで堅牢に機能し、ドロップアウトやラベルスムージングと組み合わせても性能向上を維持した。