[論文レビュー] Beyond Class-Conditional Assumption: A Primary Attempt to Combat Instance-Dependent Label Noise

Pengfei Chen, Junjie Ye+3 more|arXiv (Cornell University)|Dec 10, 2020

Machine Learning and Data Classification参考文献 50被引用数 14

ひとこと要約

この論文は、クラス条件付きノイズ（CCN）仮定が広く用いられているのに対し、理論的に現実世界のラベルノイズがインスタンス依存である（IDN）ことを示し、研究の焦点を転換する必要があると提唱する。SEALと呼ばれる自己進化平均ラベル手法を提案し、訓練の反復回数にわたるモデル予測の平均化によってノイズラベルを補正する。この手法は、合成および現実世界のIDNベンチマーク、特にClothing1Mで最先端の性能を達成し、70.63%のテスト精度を記録した。

ABSTRACT

Supervised learning under label noise has seen numerous advances recently, while existing theoretical findings and empirical results broadly build up on the class-conditional noise (CCN) assumption that the noise is independent of input features given the true label. In this work, we present a theoretical hypothesis testing and prove that noise in real-world dataset is unlikely to be CCN, which confirms that label noise should depend on the instance and justifies the urgent need to go beyond the CCN assumption.The theoretical results motivate us to study the more general and practical-relevant instance-dependent noise (IDN). To stimulate the development of theory and methodology on IDN, we formalize an algorithm to generate controllable IDN and present both theoretical and empirical evidence to show that IDN is semantically meaningful and challenging. As a primary attempt to combat IDN, we present a tiny algorithm termed self-evolution average label (SEAL), which not only stands out under IDN with various noise fractions, but also improves the generalization on real-world noise benchmark Clothing1M. Our code is released. Notably, our theoretical analysis in Section 2 provides rigorous motivations for studying IDN, which is an important topic that deserves more research attention in future.

研究の動機と目的

• 現実世界のラベルノイズがクラス条件付きである可能性が低く、インスタンス依存ノイズ（IDN）を検討する必要があることを理論的に示すこと。
• 研究およびベンチマークの目的に適した、制御可能で意味のあるインスタンス依存ラベルノイズを生成する手法を形式化すること。
• 深層学習におけるIDNに特化して設計された、新しい防御手法SEALの開発および評価すること。
• SEALの有効性を、合成IDNおよびClothing1Mのような現実世界のノイズデータセットに対して検証すること。

提案手法

• Clothing1Mデータセットを用いた理論的仮説検定により、CCN仮定を否定し、ラベルノイズが入力特徴に依存することを示した。
• 入力特徴に基づくノイズ確率をモデル化することで、制御可能でインスタンス依存ラベルノイズを生成するアルゴリズムを導入した。
• 各インスタンスについて、訓練エポックにわたるモデル予測の平均化によりソフトラベル補正を計算するSEALを設計した。
• 平均化されたソフトラベルを用いて最終的な分類器を再訓練し、インスタンスごとのラベル補正を可能にした。
• モデル出力がノイズを記憶する前までに振動する自己進化メカニズムを採用し、真のラベル信号の検出を可能にした。
• SEALに交差エントロピーまたは他の損失関数を適用し、さらに性能向上を得るためにDMIのような高度な手法と統合した。

実験結果

リサーチクエスチョン

• RQ1 Clothing1Mのような現実世界のデータセットにおいて、クラス条件付きノイズ仮定は妥当なのか。それともラベルノイズは実際にはインスタンス依存なのか。
• RQ2 ベンチマークの目的に適した、制御可能で意味のあるインスタンス依存ラベルノイズを生成できるか。
• RQ3 IDNに特化して設計された防御手法は、IDN環境下でCCNベースの手法を上回る性能を発揮するか。
• RQ4 SEALは、Clothing1Mのような現実世界のノイズデータセットにおいて一般化性能を向上させられるか。
• RQ5 SEALをDMIのような他のロバストトレーニング手法と組み合わせることで、さらなる性能向上が得られるか。

主な発見

• Clothing1Mにおける理論的仮説検定により、CCN仮定が否定され、ラベルノイズが統計的に入力特徴に依存することが示された。
• MNISTで40%のIDNを想定した場合、SEALは96.75%の精度を達成し、Co-teaching や GCE を含むすべてのベースラインを上回った。
• CIFAR-10で40%のIDNを想定した場合、SEALは82.98%の精度を達成し、次に優れた手法よりも4ポイント以上優れた性能を示した。
• 現実世界のClothing1Mベンチマークでは、SEALが70.63%のテスト精度を記録し、標準的な交差エントロピー手法よりも1.56%の絶対的改善を達成した。
• DMIと組み合わせた場合、Clothing1MでSEALは73.40%の精度を達成し、高度なトレーニング手法と組み合わせた場合の相乗効果を示した。
• 複数のノイズ率およびデータセットにおいて一貫した改善が確認され、本手法のロバスト性と一般化能力が裏付けられた。