[論文レビュー] Which Strategies Matter for Noisy Label Classification? Insight into Loss and Uncertainty

Wonyoung Shin, Jung-Woo Ha+4 more|arXiv (Cornell University)|Aug 14, 2020

Machine Learning and Data Classification参考文献 41被引用数 5

ひとこと要約

本稿では、ノイズの多いラベルを含むデータセットにおける深層学習の性能を向上させるために、FocuS On Clean and Informative samples（FOCI）を提案する。この手法は、損失が低く不確実性が高い（＝クリーンで情報量が多い）サンプルに動的に重みを付けることで、ノイズの可能性が高い高損失のサンプルを軽減する。広範な実験により、CIFAR、Tiny ImageNet、Clothing1Mなどの合成および実世界のデータセットで、最先端の手法を顕著に上回り、さまざまなニューラルネットワークアーキテクチャに一般化可能であることが示された。

ABSTRACT

Label noise is a critical factor that degrades the generalization performance of deep neural networks, thus leading to severe issues in real-world problems. Existing studies have employed strategies based on either loss or uncertainty to address noisy labels, and ironically some strategies contradict each other: emphasizing or discarding uncertain samples or concentrating on high or low loss samples. To elucidate how opposing strategies can enhance model performance and offer insights into training with noisy labels, we present analytical results on how loss and uncertainty values of samples change throughout the training process. From the in-depth analysis, we design a new robust training method that emphasizes clean and informative samples, while minimizing the influence of noise using both loss and uncertainty. We demonstrate the effectiveness of our method with extensive experiments on synthetic and real-world datasets for various deep learning models. The results show that our method significantly outperforms other state-of-the-art methods and can be used generally regardless of neural network architectures.

研究の動機と目的

• 対称的・非対称的ラベルノイズ下で、損失と不確実性がトレーニング中にどのように変化するかを理解すること。また、損失の高さ（低さ）や不確実性の高さ（低さ）に注目する対照的な戦略（例：高損失を強調 vs. 低損失を強調）がモデル性能に与える影響を解明すること。
• 実世界のデータに一般的に見られる非対称ラベルノイズの課題に取り組むこと。ここでは、従来の損失ベースや不確実性ベースの手法では、ノイズのサンプルを信頼性高く同定できない。
• クリーンで情報量の多いサンプルを優先し、ノイズデータの影響を最小限に抑える、統一的かつアーキテクチャに依存しないトレーニング手法を設計すること。
• さまざまな深層学習モデルやノイズレベル（最大70％の極端なノイズ率を含む）において、手法のロバストネスと一般化性能を検証すること。

提案手法

• FOCIは、低損失かつ高不確実性のサンプル（＝クリーンで情報量が多い可能性が高い）に高い重みを付けるサンプル重み付け機構を採用する。
• 高損失のサンプルは、特に非対称ノイズ設定下でノイズラベルと強く相関しているため、それらを軽減する。
• トレーニング中に動的に重みを調整する。これは、ウォームアップフェーズを経てから段階的にクリーンで情報量の多いサンプルに注目するようにする。
• 損失と不確実性の両方を測定するために、交差エントロピー損失と予測エントロピーを組み合わせた戦略を採用する。
• 任意の深層学習アーキテクチャと互換性がある軽量モジュールとして実装されており、アーキテクチャの変更や追加のトレーニングコンponentは不要である。
• 標準的な最適化手法を用いてエンドツーエンドで学習するが、学習の安定化を図るため、温度スケーリングを施した重み関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 非対称ラベルノイズ下で、トレーニング中にサンプルの損失と不確実性の値はどのように変化するか？
• RQ2 損失が高く、不確実性が高いサンプルに注目するという対照的な戦略（例：高損失を強調、高不確実性を強調）が、見かけの矛盾にもかかわらず、なぜ性能向上に寄与するのか？
• RQ3 非対称ラベルノイズの存在下でも、損失と不確実性の指標を組み合わせることで、クリーンで情報量の多いサンプルを効果的に同定できるか？
• RQ4 低損失かつ高不確実性に基づく統一的重み付け戦略が、多様なデータセットおよびモデルアーキテクチャにおいて、どの程度のロバストネスを向上させられるか？

主な発見

• 実世界のClothing1Mデータセットにおいて、FOCIは73.78％の精度を達成し、PENCIL（73.49％）やMLNT（73.47％）といった先行SOTA手法を上回った。
• 非対称ノイズ率40％のCIFAR-100において、低損失・高不確実性に基づく重み付けにより59.5％の精度を達成。等価重み付け（57.1％）や低損失のみの重み付け（52.4％）に比べ顕著に優れた性能を示した。
• アーキテクチャに依存しない一般化性能が確認された。ResNet50、DenseNet、Wide ResNetの各モデルにおいて、モデル容量が異なる場合でもFOCIが最高の精度を達成した。
• 重み分布の分析から、クリーンなサンプルはより高い重みを受け、長期間にわたり非ゼロの重みを維持している一方、ノイズのサンプルはトレーニング中に段階的に重みが低下していることが分かった。
• 非対称ノイズ設定下では、低損失かつ高不確実性のサンプルがクリーンデータを示す最も信頼できる指標である。一方、高損失のサンプルは主にノイズである。
• アブレーションスタディにより、等価重み付けはFOCIの損失・不確実性を統合した重み付けに比べ性能が劣ることが確認され、最適な性能を得るには両指標の併用が不可欠であることが示された。