[論文レビュー] Learning Fast Sample Re-weighting Without Reward Data

Zizhao Zhang, Tomas Pfister|arXiv (Cornell University)|Sep 7, 2021

Machine Learning and Data Classification参考文献 60被引用数 8

ひとこと要約

本稿では、外部報酬データへの依存を排除し、モデルと重み最適化の間での特徴共有と動的プロキシ報酬辞書を活用することで、トレーニングコストを低減する、学習ベースの新規手法であるFast Sample Re-weighting (FSR) を提案する。FSRは、ラベルノイズ耐性およびロングテール認識において最先端の性能を達成し、追加の偏りのない検証データを必要とせずに、トレーニング効率を著しく向上させている。

ABSTRACT

Training sample re-weighting is an effective approach for tackling data biases such as imbalanced and corrupted labels. Recent methods develop learning-based algorithms to learn sample re-weighting strategies jointly with model training based on the frameworks of reinforcement learning and meta learning. However, depending on additional unbiased reward data is limiting their general applicability. Furthermore, existing learning-based sample re-weighting methods require nested optimizations of models and weighting parameters, which requires expensive second-order computation. This paper addresses these two problems and presents a novel learning-based fast sample re-weighting (FSR) method that does not require additional reward data. The method is based on two key ideas: learning from history to build proxy reward data and feature sharing to reduce the optimization cost. Our experiments show the proposed method achieves competitive results compared to state of the arts on label noise robustness and long-tailed recognition, and does so while achieving significantly improved training efficiency. The source code is publicly available at https://github.com/google-research/google-research/tree/master/ieg.

研究の動機と目的

• 既存の学習ベースのサンプル再重み付け手法が追加の偏りのない報酬データに依存していることによる一般応用性の制限を解消すること。
• メタラーニングベースの再重み付けフレームワークにおける2次最適化の高い計算コストを低減すること。
• 大規模ディープラーニングに適した高速で効率的かつ汎用性の高いサンプル再重み付け手法を開発すること。
• トレーニング履歴から構築された適切なプロキシ報酬信号が外部報酬データに置き換え可能であることを示すこと。
• モーメンタム再ラベル化とMixUpといった直交的強化を用いて、ラベルノイズに対する耐性を向上させること。

提案手法

• 本手法は、モデル更新履歴から代表的なトレーニングサンプルの動的辞書を構築し、外部検証セットの必要性を排除するプロキシ報酬データとして活用する。
• メタマージンに基づく価値関数を用いて、辞書内の高品質なサンプルを識別し、重み最適化のためのプロキシ報酬として利用する。
• モデルと重み最適化の間で特徴共有を導入することで、共有表現を再利用し、メモリと計算コストを削減する。
• ノイズのある環境でのラベル品質を向上させるために、モーメンタムベースの再ラベル化メカニズムを導入し、プロキシ報酬の信頼性を高める。
• MixUp正則化を適用することで、辞書とプッシュャー関数の品質を向上させ、より良い一般化と重みスパarsityを実現する。
• 全フレームワークを確率的勾配降下法でエンドツーエンドに訓練し、ネスト化または2次最適化を回避する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング履歴から導出されたプロキシ報酬信号が、メタラーニングベースのサンプル再重み付けにおいて外部報酬データに置き換え可能か？
• RQ2 本手法は、従来の報酬依存型再重み付け手法と比較して、性能と効率性においてどのように差をつけるか？
• RQ3 特徴共有は、モデルと重み最適化の統合において、トレーニングコストをどの程度低減するか？
• RQ4 モーメンタム再ラベル化とMixUpの組み合わせは、ラベルノイズに対する耐性向上にどの程度効果的か？
• RQ5 本手法は、実世界のデータ分布における異なる辞書サイズとノイズレベルに対して、どの程度頑健か？

主な発見

• FSRは、CIFAR-10およびCIFAR-100で最大80％の均一なラベルノイズ下でも、外部報酬データを一切必要とせずに高い精度を維持し、競争力のある性能を達成している。
• 本手法は辞書サイズに対して感受性が低く、サイズの変動に対しても性能が安定している。これは、報酬依存型手法がデータ不足に苦しむのとは対照的である。
• MixUpとモーメンタム再ラベル化を組み合わせることで、CIFAR-10で20％の均一なノイズ下で68.1％、40％のノイズ下で60.9％の精度を達成し、ベースライン手法を上回っている。
• FSRにおけるゼロ重みの割合は、実際のノイズ比とよく一致しており、ノイズの多いサンプルの効果的な抑制が図られていることが示唆される。
• MixUpおよびモーメンタム再ラベル化を適用しないFSR-Raw（元の手法）は、任意の報酬データサイズを持つL2Rと同等の性能を示しており、外部報酬データが不要であることを裏付けている。
• MixUpは辞書の純度と最終精度を著しく向上させ、データ拡張を超えた正則化的役割を果たしていることが示唆される。