[論文レビュー] Neighborhood Collective Estimation for Noisy Label Identification and Correction

Jichang Li, Guanbin Li+2 more|arXiv (Cornell University)|Aug 5, 2022

Machine Learning and Data Classification被引用数 6

ひとこと要約

本稿では、確認バイアスを低減するために特徴空間の近隣を活用することで、誤りのあるラベルの特定と是正を向上させる、新しい手法であるNeighborhood Collective Estimation (NCE) を提案する。各サンプルをその近隣と比較することで、2段階のプロセス（ノイズ検証とラベル是正）において予測の信頼性を向上させ、CIFAR-10、CIFAR-100、Clothing-1M、Webvision-1.0 において高いノイズ比率下でも最先端の性能を達成する。

ABSTRACT

Learning with noisy labels (LNL) aims at designing strategies to improve model performance and generalization by mitigating the effects of model overfitting to noisy labels. The key success of LNL lies in identifying as many clean samples as possible from massive noisy data, while rectifying the wrongly assigned noisy labels. Recent advances employ the predicted label distributions of individual samples to perform noise verification and noisy label correction, easily giving rise to confirmation bias. To mitigate this issue, we propose Neighborhood Collective Estimation, in which the predictive reliability of a candidate sample is re-estimated by contrasting it against its feature-space nearest neighbors. Specifically, our method is divided into two steps: 1) Neighborhood Collective Noise Verification to separate all training samples into a clean or noisy subset, 2) Neighborhood Collective Label Correction to relabel noisy samples, and then auxiliary techniques are used to assist further model optimization. Extensive experiments on four commonly used benchmark datasets, i.e., CIFAR-10, CIFAR-100, Clothing-1M and Webvision-1.0, demonstrate that our proposed method considerably outperforms state-of-the-art methods.

研究の動機と目的

• 誤りのあるラベルを学習する際、ノイズ検証と是正の段階で、誤りの可能性がある個々の予測に依存する確認バイアスを是正すること。
• 特徴空間におけるサンプルの最近傍の集団的情報を統合することで、誤りのあるラベルの特定の信頼性を向上させること。
• モデルの耐性を高める2段階のフレームワークであるNeighborhood Collective Noise Verification (NCNV) と Neighborhood Collective Label Correction (NCLC) を開発すること。
• 標準的手法が誤った仮想ラベルやノイズラベルへの過学習により、高ノイズ比の状況で性能が著しく低下するのを緩和すること。
• モデル最適化の過程で一般化性能を向上させるため、一貫性正則化とサンプルの摂動の有効性を検証すること。

提案手法

• NCEは、特徴空間における最近傍のラベル分布と比較することで、候補となるサンプルの予測信頼性を再評価し、個々の予測バイアスを低減する。
• NCNV段階では、サンプルの予測ラベルとその最近傍のラベル分布の集約との整合性に基づいて、サンプルがクリーンまたはノイズありと分類される。
• NCLC段階では、対照的な最近傍からの予測を集約する「近隣集団推定プロセス」を用いて、ノイズありのサンプルを再ラベリングし、より信頼性の高い仮想ラベルを生成する。
• 本手法は、未ラベル（ノイズあり）のサンプルに対して一貫性正則化を適用し、摂動を加えた入力を用いて訓練を安定化させ、一般化性能を向上させる。
• モデル性能のさらなる最適化のため、信頼度のしきい値処理や一貫性損失といった補助的手法を統合する。
• t-SNEを用いた特徴可視化により、誤分類されたサンプルが意思決定境界付近に集まっているのに対し、適切に再ラベリングされたサンプルはクラスタの中心部に位置していることが確認され、手法の設計が妥当であることが裏付けられた。

実験結果

リサーチクエスチョン

• RQ1 個々の予測に基づく手法と比較して、近隣に基づく集団的推定は、誤りのあるラベル特定における確認バイアスを低減できるか？
• RQ2 特徴空間における最近傍を活用することで、誤りのあるラベルの検証と是正の精度はどのように向上するか？
• RQ3 一貫性正則化と入力の摂動は、高ノイズ学習環境下でのモデル一般化性能にどのような影響を与えるか？
• RQ4 さまざまなベンチマークデータセット（ノイズ比が異なる）において、NCEの性能は最先端の手法と比較してどうなるか？
• RQ5 Clothing-1M や Webvision-1.0 のようなクラス不均衡な誤りラベルデータに対しても、本手法は耐性を保つことができるか？

主な発見

• NCEは、CIFAR-10、CIFAR-100、Clothing-1M、Webvision-1.0 において最先端の手法を上回り、特に高いノイズ比（例：CIFAR-100 で 0.80）下でも優れた一般化性能を示す。
• 対称的ノイズ（比 0.80）を伴うCIFAR-100において、300エポック目までにNCNV段階で95.2％の訓練サンプル識別精度を達成し、収束性と信頼性の高さを示した。
• 一貫性損失（L^lab）を無効化すると、ノイズ比の範囲で平均精度が1.7％から7.6％低下し、最適化におけるその重要性が確認された。
• 一貫性正則化において摂動を加えた入力を使用しない場合、平均精度が4.7％低下し、摂動が効果的な正則化に不可欠であることが証明された。
• t-SNE可視化により、適切に再ラベリングされたサンプルがクラスタの中心部に集中しているのに対し、誤分類やドロップされたサンプルは境界付近に位置していることが確認され、手法の設計原理が妥当であることが裏付けられた。
• アブレーションスタディにより、近隣集団推定が、特に学習が難しいクラスや不均衡なクラスにおいて、クリーンなサンプルをノイズありと誤って識別するのを顕著に低減することが分かった。