[論文レビュー] Learning with Instance-Dependent Label Noise: A Sample Sieve Approach

Hao Cheng, Zhaowei Zhu+4 more|arXiv (Cornell University)|Oct 5, 2020

Machine Learning and Data Classification参考文献 57被引用数 27

ひとこと要約

この論文は、ノイズ率の推定を必要とせずに、インスタンス依存ラベルノイズの学習のための新しいサンプルシーブ手法であるCORES 2を提案する。信頼度正則化を用いてクリーンな例を特定し、モデルの予測から導かれる閉形式のしきい値を用いてサンプルをふnowする。CORES 2は、CIFAR-10、CIFAR-100、Clothing1Mにおいて、合成的および現実世界のノイズラベル設定の両方で最先端の性能を達成し、誤った例をフィルタリングする理論的保証を有する。

ABSTRACT

Human-annotated labels are often prone to noise, and the presence of such noise will degrade the performance of the resulting deep neural network (DNN) models. Much of the literature (with several recent exceptions) of learning with noisy labels focuses on the case when the label noise is independent of features. Practically, annotations errors tend to be instance-dependent and often depend on the difficulty levels of recognizing a certain task. Applying existing results from instance-independent settings would require a significant amount of estimation of noise rates. Therefore, providing theoretically rigorous solutions for learning with instance-dependent label noise remains a challenge. In this paper, we propose CORES$^{2}$ (COnfidence REgularized Sample Sieve), which progressively sieves out corrupted examples. The implementation of CORES$^{2}$ does not require specifying noise rates and yet we are able to provide theoretical guarantees of CORES$^{2}$ in filtering out the corrupted examples. This high-quality sample sieve allows us to treat clean examples and the corrupted ones separately in training a DNN solution, and such a separation is shown to be advantageous in the instance-dependent noise setting. We demonstrate the performance of CORES$^{2}$ on CIFAR10 and CIFAR100 datasets with synthetic instance-dependent label noise and Clothing1M with real-world human noise. As of independent interests, our sample sieve provides a generic machinery for anatomizing noisy datasets and provides a flexible interface for various robust training techniques to further improve the performance. Code is available at https://github.com/UCSC-REAL/cores.

研究の動機と目的

• ラベルノイズが例の難易度に依存する（特徴量とは独立でない）インスタンス依存ラベルノイズの課題に対処すること。
• ノイズ率や遷移行列の事前推定を必要とせずに、誤った例をフィルタリングする手法を開発すること。
• ノイズデータ上の信頼度正則化損失を最小化することが、観察できない真の分布上のクリーン損失を最小化することに相当することを理論的に保証すること。
• クリーン例と誤った例を分離することで、DNNの学習を改善し、クリーンデータには標準的な交差エントロピー損失、ノイズデータには一貫性損失を適用すること。
• 匿名化され、高品質なクリーンデータを対象とした、汎用的で柔軟なインターフェースを提供すること。

提案手法

• CORES 2は、分類器の信頼度を向上させるために損失関数に信頼度正則化（CR）項を導入し、クリーンな例の特定を支援する。
• モデルの予測から導かれる閉形式のしきい値を用いて、信頼度が低い例をふnowし、高品質なクリーンサンプル集合を形成する。
• ノイズ率の推定を必要とせず、正則化損失に基づいて動的に訓練データをクリーンと誤ったサブセットに分離する。
• クリーンな例には標準的な交差エントロピー損失を、誤った例には非教師ありの一貫性損失を適用して一般化性能を向上させる。
• 理論的に、信頼度正則化損失が弱い仮定の下で、クリーン交差エントロピー損失を最小化することに等価であることが示されている。
• フレームワークはモジュール式に設計されており、ふnow後、さまざまなロバスト学習手法の統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 ノイズ率の推定を必要とせずに、インスタンス依存ラベルノイズ下で信頼性の高いクリーン例と誤った例の分離が可能なサンプルシーブを構築できるか？
• RQ2 損失関数における信頼度正則化が、クリーン例の特定を改善し、学習のロバスト性を向上させるか？
• RQ3 理論的根拠を持つしきい値ベースのサンプルシーブ機構は、合成的および現実世界のノイズラベル設定の両方で、既存手法を上回る性能を発揮できるか？
• RQ4 クリーン例と誤った例のそれぞれに別々の損失関数を適用することで、モデルの一般化性能と精度にどのような影響を与えるか？
• RQ5 CORES 2は、異なるレベルのインスタンス依存ノイズを伴う多クラス分類にどの程度一般化可能か？

主な発見

• CORES 2は、対称的ノイズ率0.2のCIFAR-10で95.9%のテスト精度を達成し、DivideMixなどの最先端手法を上回る。
• Tiny-ImageNetでは、ノイズ率0.2で73.47%の精度を達成し、MAE や GCE よりも優れている。
• 一貫性学習を適用しなくても、対称的ノイズ（0.2）で90.70%、非対称的ノイズ（0.1）で92.41%の精度を達成しており、信頼度正則化によるロバストネスの有効性を示している。
• アブレーションスタディにより、動的サンプルシーブと信頼度正則化の両方が性能向上に寄与していることが確認され、完全な手法では対称的ノイズ（0.2）で95.73%の精度を達成した。
• 実際の人為的ラベルノイズを伴うClothing1Mでは96.05%の精度を達成し、複雑な現実世界のデータセットにおける強力な一般化性能を示している。
• 理論的分析により、ノイズデータ上の信頼度正則化損失を最小化することは、弱い仮定の下で、観察できない真の分布上のクリーン損失を最小化することに等価であることが示された。