[論文レビュー] Understanding and Utilizing Deep Neural Networks Trained with Noisy Labels

Pengfei Chen, Ben Liao+2 more|arXiv (Cornell University)|May 13, 2019

Machine Learning and Data Classification被引用数 96

ひとこと要約

本論文は、ノイズ付きラベルの下でDNNがどのように一般化するかを理論的に扱い、ノイズに対するテスト精度を関数として示し、INCVとノイズの多いデータでクリーンサンプルを識別しロバストなモデルを訓練する強化されたCo-teaching法を導入します。

ABSTRACT

Noisy labels are ubiquitous in real-world datasets, which poses a challenge for robustly training deep neural networks (DNNs) as DNNs usually have the high capacity to memorize the noisy labels. In this paper, we find that the test accuracy can be quantitatively characterized in terms of the noise ratio in datasets. In particular, the test accuracy is a quadratic function of the noise ratio in the case of symmetric noise, which explains the experimental findings previously published. Based on our analysis, we apply cross-validation to randomly split noisy datasets, which identifies most samples that have correct labels. Then we adopt the Co-teaching strategy which takes full advantage of the identified samples to train DNNs robustly against noisy labels. Compared with extensive state-of-the-art methods, our strategy consistently improves the generalization performance of DNNs under both synthetic and real-world training noise.

研究の動機と目的

• ラベルノイズが深層ニューラルネットワークの一般化性能に与える影響を定量化する。
• ノイズのあるデータセットでクリーンなラベルを識別する実用的な方法を開発する。
• 識別されたクリーンサンプルを用いて、ノイズ付きラベルから堅牢に学習する訓練手順を設計する。

提案手法

• ノイズ遷移行矩陣 T を介して一般化性能をノイズ付きと理論的に関連づけ、対称ノイズと非対称ノイズに対するノイズの関数としてテスト精度を導出する。
• Noisy Cross-Validation (NCV) を導入し、ノイズデータを分割して交差検証を行い、y^f = y であるかを確認してクリーンなサンプルを識別する。
• Iterative Noisy Cross-Validation (INCV) を提案し、クリーンなサブセットを反復的に拡張しノイズ比を推定する。
• cleaned subset でまず訓練し、その後候補集合を含めて学習を安定化させることで Co-teaching を拡張する（Alg. 3）。
• CO-teaching フレームワーク内でのバッチサイズ、損失が小さいサンプルの選択、損失ベースの剪定に関する実用的な指針を提供する。
• 合成データ（CIFAR-10）と実世界データ（WebVision）のノイズ付きラベルデータセットでアプローチを検証する。

実験結果

リサーチクエスチョン

• RQ1 ラベルノイズはDNNのテスト精度と一般化能力にどのように定量的に影響を与えるか？
• RQ2 ノイズのあるデータセット内でクリーンサンプルを信頼性高く識別して訓練を改善できるか？
• RQ3 反復的なクリーンサンプル選択戦略（INCV）は高ノイズ領域でCo-teachingを改善するか？
• RQ4 対称ノイズと非対称ノイズが LP (label precision) および LR (label recall) 指標にどのように影響するか？
• RQ5 INCVと提案された訓練方式は CIFAR-10 と WebVision における最先端のノイズ付きラベル手法を上回るか？

主な発見

• ノイズ付きラベル下でのDNNのテスト精度は、対称ノイズ設定においてノイズ比と二次関係をたどる。
• 提案された INCV 手法はクリーンなサンプルを安定的に識別し、LRを高くし訓練の安定性を向上させる。
• 統合された INCV+Co-teaching アプローチは、F-correction、Decoupling、MentorNet、D2L、そして標準の Co-teaching を合成データと実世界のノイズの両方で上回る。
• CIFAR-10（対称ノイズおよび非対称ノイズを含む）と WebVision における経験的結果は、クリーンなテストセットでより高いテスト精度を示す。
• 理論分析は経験的観察と一致し、ノイズ訓練下の混同行列において M ≈ T を含む。