[論文レビュー] Robustness of Accuracy Metric and its Inspirations in Learning with Noisy Labels

Pengfei Chen, Junjie Ye+3 more|arXiv (Cornell University)|Dec 8, 2020

Machine Learning and Data Classification参考文献 51被引用数 10

ひとこと要約

本論文は、分類器の正確性（accuracy）指標がクラス条件付きラベルノイズに対して頑健であることを証明しており、ノイズのある学習データ上で正確性を最大化することで、クリーンなデータ上でのほぼ最適な分類器が得られることを示している。さらに、モデル選択にノイズのある検証セットを使用することを理論的に正当化しており、これはこれまで理論的根拠が不足していたが、信頼性のあるハイパーパrameterチューニングと早期停止を可能にする。この有効性は、CIFAR-10/100およびClothing1Mで実世界のノイズを持つ状況で最先端の性能を達成する、新しいフレームワーク「Noisy Best Teacher and Student（NTS）」を用いて検証された。

ABSTRACT

For multi-class classification under class-conditional label noise, we prove that the accuracy metric itself can be robust. We concretize this finding's inspiration in two essential aspects: training and validation, with which we address critical issues in learning with noisy labels. For training, we show that maximizing training accuracy on sufficiently many noisy samples yields an approximately optimal classifier. For validation, we prove that a noisy validation set is reliable, addressing the critical demand of model selection in scenarios like hyperparameter-tuning and early stopping. Previously, model selection using noisy validation samples has not been theoretically justified. We verify our theoretical results and additional claims with extensive experiments. We show characterizations of models trained with noisy labels, motivated by our theoretical results, and verify the utility of a noisy validation set by showing the impressive performance of a framework termed noisy best teacher and student (NTS). Our code is released.

研究の動機と目的

• ハイパーパrameterチューニングおよび早期停止におけるノイズのある検証セットの使用を理論的に正当化すること。これは、これまで正式な理論的支援が欠けていた。
• 特別な頑健な損失関数を用いなくても、十分に多くのノイズのあるサンプル上で訓練精度を最大化することで、近似的に最適な分類器が得られることを示すこと。
• ノイズのある監視下でのモデル挙動を特徴づけ、十分なデータ量があれば最適な性能に収束することを示すこと。
• 新しいフレームワーク「Noisy Best Teacher and Student（NTS）」を用いて、合成および実世界のノイズ付きベンチマーク上で、ノイズのある検証セットの実用的有用性を検証すること。

提案手法

• 対角優勢なクラス条件付きノイズに対して、ノイズのある分布上での正確性を最大化すれば、クリーンな分布上での正確性も最大化されることを証明する。
• VC次元に基づく一般化限界を導入し、大きなノイズのあるデータセット上で訓練された正確性が最適な分類器を近似することを示す。
• ホールドアウトされたノイズのある検証セット上の正確性が、真のノイズのある分布の正確性の不偏推定値であることを確立し、モデル選択におけるその使用を理論的に正当化する。
• 教師モデルをノイズのある検証セット上で最高の正確性を示したモデルとして選択し、それをもとに学生モデルを再訓練する「Noisy Best Teacher and Student（NTS）」フレームワークを提案する。
• 標準的なデータオーグメンテーションおよびトレーニングプロトコルを採用し、ハイパーパrameterはノイズのある検証セットを用いて調整することで、公平な比較を保証する。
• 理論的主張の妥当性を検証するため、モデル挙動の可視化と、CIFAR-10/100およびClothing1Mにおける合成ノイズおよび実世界ノイズを用いた広範な実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 正確性指標自体がクラス条件付きラベルノイズに対して頑健であるか。つまり、ノイズのあるデータ上で正確性を最大化すれば、クリーンなデータ上でも最適な性能が得られるか。
• RQ2 十分に多くのノイズのあるサンプル上で訓練精度を最大化することで、特別な頑健な損失関数がなくても、近似的に最適な分類器が得られるか。
• RQ3 ラベルノイズが存在するにもかかわらず、ハイパーパrameterチューニングや早期停止といったモデル選択において、ノイズのある検証セットが信頼できるか。
• RQ4 Noisy Best Teacher and Student（NTS）のようなフレームワークが、ノイズのある検証セットを活用して、ノイズラベル学習において最先端の性能を達成できるか。

主な発見

• 理論的分析により、対角優勢なクラス条件付きノイズの下で、ノイズのある分布上での正確性を最大化すれば、クリーンな分布上での正確性も保証されることを証明した。
• 十分に多くのノイズのあるサンプル上で学習されたモデルは、グローバル最適な分類器に収束する。データ量が少ない段階ではダミー分類器としての挙動を示し、データ量が増えるとノイズ遷移行列を予測する挙動に移行する。
• ノイズのある検証セットは、真のノイズのある分布の正確性の信頼できる推定値であるため、クリーンな検証データが利用できない状況においても、モデル選択に理論的根拠を与える。
• ノイズのある検証セット上で最高の性能を示した教師モデルを選択するNTSフレームワークは、合成ノイズを含むCIFAR-10/100において、複数のベースラインを上回る一貫した性能向上を達成した。また、実世界のノイズを持つClothing1Mでも同様の結果を得た。
• アブレーションスタディにより、NTSは、ノイズなし、標準的、強化されたオーグメンテーション戦略のいずれに対しても性能向上を維持しており、その頑健性と実用性を裏付けた。
• Clothing1Mでは、NTSはクリーンな検証データを用いたベースラインと同等の結果を達成した。これは、実世界の状況においてもノイズのある検証セットが十分に効果的であり、代替可能であることを示している。