[論文レビュー] PARS: Pseudo-Label Aware Robust Sample Selection for Learning with Noisy Labels

Arushi Goel, Yunlong Jiao+1 more|arXiv (Cornell University)|Jan 26, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

PARSは、ノイズのあるラベルと疑似ラベルをラベル依存のノイズに強い損失関数を用いて統合的に活用する、新しいロバストなサンプル選択フレームワークを提案する。これにより、すべてのサンプルに対して効果的な自己学習が可能となり、ノイズラベルへの過学習を軽減する。SOTA性能を達成しており、特に90%の対称的ラベルノイズを伴うCIFAR-100では12%の絶対的精度向上を達成し、低リソース設定下では27%の向上を示した。

ABSTRACT

Acquiring accurate labels on large-scale datasets is both time consuming and expensive. To reduce the dependency of deep learning models on learning from clean labeled data, several recent research efforts are focused on learning with noisy labels. These methods typically fall into three design categories to learn a noise robust model: sample selection approaches, noise robust loss functions, or label correction methods. In this paper, we propose PARS: Pseudo-Label Aware Robust Sample Selection, a hybrid approach that combines the best from all three worlds in a joint-training framework to achieve robustness to noisy labels. Specifically, PARS exploits all training samples using both the raw/noisy labels and estimated/refurbished pseudo-labels via self-training, divides samples into an ambiguous and a noisy subset via loss analysis, and designs label-dependent noise-aware loss functions for both sets of filtered labels. Results show that PARS significantly outperforms the state of the art on extensive studies on the noisy CIFAR-10 and CIFAR-100 datasets, particularly on challenging high-noise and low-resource settings. In particular, PARS achieved an absolute 12% improvement in test accuracy on the CIFAR-100 dataset with 90% symmetric label noise, and an absolute 27% improvement in test accuracy when only 1/5 of the noisy labels are available during training as an additional restriction. On a real-world noisy dataset, Clothing1M, PARS achieves competitive results to the state of the art.

研究の動機と目的

• 大規模データセットにおけるノイズラベルの存在がモデルの一般化性能を著しく低下させるという課題に対処すること。
• フィルタリングされたノイズラベルを破棄するか、高品質な検証セットを用いたラベル補正に依存する従来手法の限界を克服すること。
• オリジナルラベルと疑似ラベルの両方を活用する統一された学習フレームワークを構築し、信頼度ベースのフィルタリングとノイズに強い損失関数を用いてラベルノイズに対してロバストであることを目指すこと。
• ラベルの一部しか入手できない現実的で高ノイズかつ低リソースな設定下での性能評価を行うこと。

提案手法

• PARSは二段階の訓練プロセスを採用する：まず、モデル学習の安定化を図るノイズに強い損失関数を用いたロバストなウォームアップ段階。
• 次に、データオーグメンテーションを用いて、事前にノイズとみなされてフィルタリングされたサンプルを含め、すべての訓練サンプルに対して疑似ラベルを生成する自己学習を実施する。
• 予測信頼度の高いしきい値を設定することで、信頼性の高いサンプルを特定し、曖昧なサンプルとノイズラベルを分離する信頼度ベースのフィルタリングを実施する。
• オリジナルラベルと疑似ラベルの両方のサンプルに対して、ラベル依存のノイズに強い損失関数を適用する：クリーンなサンプルにはポジティブ/ネガティブ学習を、ノイズのあるサンプルにはロバスト/ネガティブ学習を適用する。
• オリジナルラベルデータと疑似ラベルデータの両方の損失を同時に最適化することで、いかなるサンプルも破棄されず、信号の利用効率を最大化する。
• ラベルの一部しか入手できない新しい低リソース半教師付きLNL設定を導入し、データ不足下でも優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 オリジナルラベルと疑似ラベルの両方を活用する統一フレームワークは、深層学習におけるラベルノイズへのロバスト性を向上させ得るか？
• RQ2 従来の手法で破棄されていたフィルタリング済みのノイズラベルを保持・学習することで、モデル性能が向上するか？
• RQ3 提案されたラベル依存のノイズに強い損失関数は、ノイズの種別や度合いが異なる状況でも有効に機能するか？
• RQ4 実世界のデータ収集で一般的に見られる高ノイズおよび低リソース設定下でも、PARSはSOTA性能を達成できるか？

主な発見

• CIFAR-100で90%の対称的ラベルノイズが存在する状況下で、従来SOTA手法と比較して12%の絶対的精度向上を達成した。
• ノイズラベルの1/5しか入手できない低リソース設定下では、既存手法と比較して27%の絶対的精度向上を達成した。
• アブレーションスタディの結果、疑似ラベルの使用を排除すると性能が著しく低下し、疑似ラベルを用いた自己学習の重要性が裏付けられた。
• フィルタリング済みのノイズラベルを破棄する（ノイズに強い損失関数を用いない）と、一貫した性能低下が観察され、すべてのサンプルを保持することの価値が示された。
• 全パラメータを有効にしたPARSモデルは、すべてのデータセットおよびノイズレベルで、すべてのアブレーションバリアントを上回る性能を示し、各構成要素の相乗効果を確認した。
• 実世界のClothing1Mデータセットでも、SOTAと競合する結果を達成し、実世界のノイズラベルデータへの一般化能力を検証した。