[論文レビュー] MentorNet: Regularizing Very Deep Neural Networks on Corrupted Labels

Lu Jiang, Zhengyuan Zhou+3 more|arXiv (Cornell University)|Dec 14, 2017

Human Pose and Action Recognition参考文献 4被引用数 66

ひとこと要約

本稿では、ノイズありまたは誤ったラベルで学習する非常に深いネットワークの正則化を目的として、データレベルのカリキュラムを学習するニューラルネットワーク、MentorNetを提案する。予測されたラベル品質に基づいて動的に訓練サンプルをフィルタリングまたは再重み付けすることで、ラベルにノイズが混入したベンチマークにおいて一般化性能を著しく向上させ、ラベルノイズ下でも最先端のモデルを上回る性能を発揮する。

ABSTRACT

Recent studies have discovered that deep networks are capable of memorizing the entire data even when the labels are completely random. Since deep models are trained on big data where labels are often noisy, the ability to overfit noise can lead to poor performance. To overcome the overfitting on corrupted training data, we propose a novel technique to regularize deep networks in the data dimension. This is achieved by learning a neural network called MentorNet to supervise the training of the base network, namely, StudentNet. Our work is inspired by curriculum learning and advances the theory by learning a curriculum from data by neural networks. We demonstrate the efficacy of MentorNet on several benchmarks. Comprehensive experiments show that it is able to significantly improve the generalization performance of the state-of-the-art deep networks on corrupted training data.

研究の動機と目的

• トレーニング中にノイズありまたは誤ったラベルに過学習する深層ニューラルネットワークの問題に対処すること。
• ラベルノイズを含むトレーニングデータにおいて、深層ネットワークの一般化性能を向上させること。
• ニューラルネットワークを用いてデータそのものからカリキュラムを学ぶデータレベルの正則化技術を開発すること。
• 手動で設計されたスケジュールに依存せず、データから自己学習による指導信号を自動で学ぶことで、カリキュラム学習理論を発展させること。

提案手法

• MentorNetは、各トレーニングサンプルのラベルの信頼性を予測するためのニューラルネットワークであり、ノイズの多いサンプルを動的にフィルタリングする役割を果たす。
• モデルは微分可能なソフトラベル補正メカニズムを用い、ラベルの信頼性が低いサンプルはトレーニング中に低重み付けされる。
• MentorNetは、同じデータ上で動作する学生ネットワーク（StudentNet）の予測結果を用いて自己教師学習の形で学習され、共通トレーニングループを形成する。
• トレーニングプロセスは、モデルの予測信頼度に基づいてStudentNetを更新し、MentorNetをファインチューニングするのを交互に繰り返す。
• 本手法は、初期段階でより簡単で信頼性の高いサンプルを優先し、徐々に難易度の高いまたはノイズの混入したサンプルを統合するカリキュラム学習の考えを活用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、ラベルノイズ下でも一般化性能を向上させるデータレベルのカリキュラムを学習できるか？
• RQ2 MentorNetは、非常に深いネットワークにおける誤ったラベルへの過学習をどれほど効果的に軽減できるか？
• RQ3 MentorNetの自己教師学習による学習は、手動で設計されたまたは固定されたデータフィルタリング戦略よりも優れた性能を発揮するか？
• RQ4 MentorNetは、ラベル汚染度が異なる多様なベンチマークに効果的に適用可能か？

主な発見

• MentorNetは、ラベルに汚染が混入したデータセットにおいて、最先端の深層ネットワークの一般化性能を著しく向上させる。
• CIFAR-100でラベルがランダムに設定された状況において、ベースラインモデルと比較してテスト誤差を最大30％まで低減した。
• 複数のベンチマークで、ノイズレベルが異なる条件下でも、従来のデータフィルタリングや再重み付けベースラインを上回る性能を発揮した。
• ラベルノイズが極めて深刻な状況、例えば80％のラベルがランダムに誤って設定された場合でも、一貫した性能向上が得られた。