[論文レビュー] MentorNet: Learning Data-Driven Curriculum for Very Deep Neural Networks on Corrupted Labels

Lu Jiang, Zhengyuan Zhou+3 more|arXiv (Cornell University)|Dec 14, 2017

Human Pose and Action Recognition参考文献 31被引用数 536

ひとこと要約

MentorNet はデータ駆動型カリキュラムを学習して StudentNet の訓練を監督し、腐敗したまたはノイズの多いラベルで訓練された非常に深いネットワークの一般化を改善し、大規模な WebVision および ImageNet の実験を含む。

ABSTRACT

Recent deep networks are capable of memorizing the entire data even when the labels are completely random. To overcome the overfitting on corrupted labels, we propose a novel technique of learning another neural network, called MentorNet, to supervise the training of the base deep networks, namely, StudentNet. During training, MentorNet provides a curriculum (sample weighting scheme) for StudentNet to focus on the sample the label of which is probably correct. Unlike the existing curriculum that is usually predefined by human experts, MentorNet learns a data-driven curriculum dynamically with StudentNet. Experimental results demonstrate that our approach can significantly improve the generalization performance of deep networks trained on corrupted training data. Notably, to the best of our knowledge, we achieve the best-published result on WebVision, a large benchmark containing 2.2 million images of real-world noisy labels. The code are at https://github.com/google/mentornet

研究の動機と目的

• 深層ネットワークが腐敗したラベルを記憶してしまう問題と、堅牢な一般化の必要性を動機づける。
• トレーニング中にバックボーンネットワークを監督するデータ駆動型カリキュラム学習手法を提案する。
• 大規模な深層アーキテクチャと大規模データセットへの本手法のスケーラビリティを実証する。
• 制御されたラベルと実世界のノイズ付きラベルの両方において、事前定義されたカリキュラムに対する経験的な利得を示す。

提案手法

• StudentNet のフィードバックを観察することによりカリキュラムを形成するサンプル重みを学習する MentorNet を導入する。
• MentorNet が学習された関数 g_m(z_i;Θ) によってサンプルごとの重みを出力する StudentNet との共通最適化問題を定式化する。
• MentorNet が事前定義済みカリキュラムを近似するか、データからデータ駆動型カリキュラムを発見することを許す。
• SPADE (Scholastic gradient Partial DEScent) を用いて Mini-batch SGD で MentorNet と StudentNet を共同最適化し、並列トレーニングを可能にする。
• トレーニング中に MentorNet を更新する動的カリキュラムとウォームアップ期間を提供する。
• 学習したカリキュラムを M-estimators (Huber, log-sum penalties) を用いた堅牢な目的の解釈へ結びつける。）

実験結果

リサーチクエスチョン

• RQ1 学習されたデータ駆動型カリキュラムは、腐敗したラベルで訓練された非常に深いネットワークの一般化を改善できるか。
• RQ2 共同学習された MentorNet–StudentNet フレームワークは、制御されたおよび実世界のノイズ付きラベルに対して、事前定義されたカリキュラムとどのように比較されるか。
• RQ3 提案されたトレーニングアルゴリズムは、大規模データセットとアーキテクチャに対してスケーラブルかつ収束するか。
• RQ4 ラベルノイズを伴う訓練のために、学習したカリキュラムはどのような堅牢な目的を内包しているのか。

主な発見

• データ駆動型カリキュラムを備えた MentorNet は、制御された腐敗ラベルのベンチマークにおいてベースライン訓練より検証精度を有意に向上させる。
• 学習したカリキュラム（MentorNet DD）は、Self-paced や Focal Loss などの事前定義カリキュラムより実験で上回る。
• 40% のノイズ付きラベルを含む大規模 ImageNet では、MentorNet はいくつかのベースライン、ノー正則化モデルや完全正則化モデルを含む、P@1 や P@5 を改善する。
• 実世界のノイズ付きラベルを持つ WebVision では、MentorNet は clean ImageNet および WebVision の検証データでベースライン手法を大幅に改善する。
• MentorNet は収束と安定した訓練を示し、訓練誤差はゼロに近づく一方で、テスト性能はラベルノイズに対して堅牢なまま。