[論文レビュー] Detecting Corrupted Labels Without Training a Model to Predict

Zhaowei Zhu, Zihao Dong+1 more|arXiv (Cornell University)|Oct 12, 2021

Machine Learning and Data Classification被引用数 16

ひとこと要約

本論文は、事前抽出された特徴空間における近隣情報を利用することで、学習を伴わないデータ中心のアプローチを提案し、機械学習データセットにおける誤ったラベルを検出する。局所的投票と順位付けベースのスコアリングを用い、CIFAR-10 や CIFAR-100 などの実世界のノイズありデータセットで、学習ベースのベースラインと比較して最大20%の性能向上を達成した。これは、ラベル検出にモデル学習やノイズありの教師信号を必要としないことを示している。

ABSTRACT

Label noise in real-world datasets encodes wrong correlation patterns and impairs the generalization of deep neural networks (DNNs). It is critical to find efficient ways to detect corrupted patterns. Current methods primarily focus on designing robust training techniques to prevent DNNs from memorizing corrupted patterns. These approaches often require customized training processes and may overfit corrupted patterns, leading to a performance drop in detection. In this paper, from a more data-centric perspective, we propose a training-free solution to detect corrupted labels. Intuitively, ``closer'' instances are more likely to share the same clean label. Based on the neighborhood information, we propose two methods: the first one uses ``local voting" via checking the noisy label consensuses of nearby features. The second one is a ranking-based approach that scores each instance and filters out a guaranteed number of instances that are likely to be corrupted. We theoretically analyze how the quality of features affects the local voting and provide guidelines for tuning neighborhood size. We also prove the worst-case error bound for the ranking-based method. Experiments with both synthetic and real-world label noise demonstrate our training-free solutions consistently and significantly improve most of the training-based baselines. Code is available at github.com/UCSC-REAL/SimiFeat.

研究の動機と目的

• ノイズありラベルで学習する必要がある学習中心のラベル検出手法の限界、すなわちカスタマイズされた学習と誤ったインスタンスへの過剰適合のリスクを解消すること。
• モデルのメモリーやハイパーパramータチューニングに依存せず、特徴表現と近隣構造のみを用いてラベルノイズを検出する、データ中心の学習フリーな代替手法を提案すること。
• モデルの記憶やハイパーパramータチューニングに依存せずに、ラベルノイズ検出におけるロバスト性と一般化性能を向上させること。
• 事前学習モデルや対照的学習から得られる高品質な特徴が、検出性能を顕著に向上させることを実証すること。

提案手法

• 近隣の特徴におけるラベルの整合性をチェックすることで、誤ったインスタンスを特定する局所的投票手法を提案する。
• 各インスタンスのクリーンである確率に基づいてスコアを付与し、低スコアのインスタンスを誤ったラベルとしてフィルタリングする順位付けベースの手法を導入する。
• 微調整やノイズありラベルでの学習が不要なため、CLIP や SimCLR からの事前学習済み特徴を入力として使用する。
• 理論的分析により、最適な近隣サイズのガイドラインを提示し、順位付けベース手法の最悪ケース誤差バウンドを証明する。
• コサイン距離を用いた特徴類似度により近隣を定義し、モデル再学習なしに効率的な計算を可能にする。
• CIFAR-10、CIFAR-100、Clothing1M を含む、合成および実世界のノイズありデータセットで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 ノイズありラベルでモデルを学習せず、特徴空間の近隣構造にのみ依存してラベル不正を検出可能か？
• RQ2 特徴の品質が近隣ベースのラベル不正検出性能にどのように影響するか？
• RQ3 他のタスクやドメインからの事前学習特徴を用いることで、モデルのログィットと比較して検出のロバスト性が向上するか？
• RQ4 学習フリーな手法が、人間アノテーションによる実世界のラベルノイズ検出において、既存の学習ベースのベースラインを上回るか？
• RQ5 提案された順位付けベース検出手法の誤差率に対する理論的保証は何か？

主な発見

• 提案された SimiFeat メソッドは、人間レベルのラベルノイズを伴う CIFAR-10 および CIFAR-100 で、ベースラインと比較して最大20%高い F1 スコアを達成し、優れたロバスト性を示した。
• 順位付けベース手法（SimiFeat-R）は、12の設定のうち8つで1位のF1スコアを記録し、CORES や CE Sieve 即ちをも上回った。
• 対照的学習（例：R34-C10-SSL）からの特徴を用いることで、CIFAR-100 で教師あり事前学習を上回り、分布外データへの一般化性能が向上した。
• SimiFeat-R を用いて誤ったインスタンスをフィルタリングした結果、Clothing1M でのテスト精度が 73.64% に達し、複数の最先端ベースラインを上回った。
• 高品質な特徴を用いる際、理想的な特徴を使用した場合にF1スコアが1.0に近づくことが分かった。
• 本手法は、さまざまなノイズタイプやデータセットに対して安定した性能を示し、特徴がターゲットデータと同一分布でなくても有効であることが確認された。