[論文レビュー] Push the Student to Learn Right: Progressive Gradient Correcting by Meta-learner on Corrupted Labels.

Jun Shu, Qi Xie+5 more|arXiv (Cornell University)|Feb 20, 2019

Machine Learning and Data Classification参考文献 33被引用数 4

ひとこと要約

本稿では、最小限のハイパーパrameterチューニングで、軽量なメタラーナーを用いて分類器の勾配を段階的に修正することで、ラベルの不正な状態下でも頑健な学習を実現する、シンプルだが効果的なメタラーニング手法を提案する。少数の偏りのないメタデータに基づき、学習バイアスを補正するためのサンプル重みを適応的に調整する。本手法は、不正なラベルを含むベンチマークにおいて、優れた頑健性、安定性、および効率性を示している。

ABSTRACT

While deep networks have strong fitting capability to complex input patterns, they can easily overfit to biased training data with corrupted labels. Sample reweighting strategy is commonly used to alleviate this robust learning issue, through imposing zero or possibly smaller weights to corrupted samples to suppress their negative influence to learning. Current reweighting algorithms, however, need elaborate tuning of additional hyper-parameters or careful designing of complex meta-learner for learning to assign weights on samples. To address these issues, we propose a new meta-learning method with few tuned hyper-parameters and simple structure of a meta-learner (one hidden layer MLP network). Guided by a small amount of unbiased meta-data, the parameters of the proposed meta-learner can be gradually evolved for finely tugging the classifier gradient approaching to the right direction. This learning manner complies with a real teaching progress: A good teacher should more respect the student's own learning manner and help progressively correct his learning bias based on his/her current learning status. Experimental results substantiate the robustness of the new algorithm on corrupted label cases, as well as its stability and efficiency in learning.

研究の動機と目的

• 深層ニューラルネットワークが偏ったまたは不正な訓練ラベルに過学習してしまうという課題に対処すること。
• 既存のサンプル再重み付け手法における複雑なメタラーナー設計や広範なハイパーパrameterチューニングへの依存を低減すること。
• 学生モデルの現在の学習状態に基づいて段階的に学習バイアスを是正する、シンプルで安定的かつ効率的なメタラーニングフレームワークを構築すること。
• 偏りのない最小限のメタデータを用いて分類器を正しい学習方向へ誘導することで、効果的な勾配補正を可能にすること。

提案手法

• 単一隠れ層のMLPで構成されるメタラーナーを訓練し、モデルの活性化と勾配に基づいてサンプル重みを予測する。
• 分類器の勾配更新をガイドするために、偏りのない少数のメタデータを用いてメタラーナーを最適化する。
• 教師が生徒の学習を導くプロセスを模倣するように、サンプル重みを調整することで、分類器の勾配を段階的に是正する。
• メタラーナーのパラメータを繰り返し更新することで、不正なサンプルからの干渉を最小限に抑え、重み割り当てを精緻化する。
• 複雑な損失関数設計や広範なハイパーパrameterチューニングを避け、シンプルでスケーラブルなメタラーニングループに依存する。

実験結果

リサーチクエスチョン

• RQ1 最小限のハイパーパrameterを有するシンプルなメタラーナーは、ラベル不正の状況下でも勾配更新を効果的に是正できるか？
• RQ2 現在の学習状態に基づく段階的勾配補正は、静的または複雑な再重み付け手法と比較して、どのように頑健性を向上させるか？
• RQ3 本手法は、ラベルノイズの異なるレベルにおいて、どの程度安定性と効率性を維持するか？
• RQ4 偏りのない少数のメタデータセットを用いることで、メタラーナーの学習バイアス是正性能にどのような影響が生じるか？

主な発見

• 提案手法は、ラベル不正を含むデータセットにおいて、高ノイズレベル下でも既存の再重み付けベースラインを上回る精度を達成し、優れた頑健性を示した。
• 複数のランダムシードやノイズ設定においても高い安定性を示し、一貫した性能を発揮した。
• 単一隠れ層のメタラーナーと最小限のハイパーパrameterチューニングのおかげで、高い効率性を維持した。
• 段階的是正メカニズムにより、学習状態に応じて動的にサンプル重みを調整することで、不正なサンプルへの過学習が効果的に低減された。