[論文レビュー] A Second-Order Approach to Learning with Instance-Dependent Label Noise

Zhaowei Zhu, Tongliang Liu+1 more|arXiv (Cornell University)|Dec 22, 2020

Machine Learning and Data Classification参考文献 47被引用数 12

ひとこと要約

本稿では、インスタンス依存のノイズ率とベイズ最適ラベルの間の推定された共分散項を活用して、インスタンス依存のラベルノイズをクラス依存のノイズに変換する第二階層のアプローチ、Covariance-Assisted Learning (CAL) を提案する。この手法により、既存のロバストな手法の適用が可能となり、合成ノイズを用いたCIFAR10およびCIFAR100、実世界の人為的ノイズを含むClothing1Mにおいて、最先端の性能を達成し、従来手法を最大1.5%の精度向上で上回る。

ABSTRACT

The presence of label noise often misleads the training of deep neural networks. Departing from the recent literature which largely assumes the label noise rate is only determined by the true label class, the errors in human-annotated labels are more likely to be dependent on the difficulty levels of tasks, resulting in settings with instance-dependent label noise. We first provide evidences that the heterogeneous instance-dependent label noise is effectively down-weighting the examples with higher noise rates in a non-uniform way and thus causes imbalances, rendering the strategy of directly applying methods for class-dependent label noise questionable. Built on a recent work peer loss [24], we then propose and study the potentials of a second-order approach that leverages the estimation of several covariance terms defined between the instance-dependent noise rates and the Bayes optimal label. We show that this set of second-order statistics successfully captures the induced imbalances. We further proceed to show that with the help of the estimated second-order statistics, we identify a new loss function whose expected risk of a classifier under instance-dependent label noise is equivalent to a new problem with only class-dependent label noise. This fact allows us to apply existing solutions to handle this better-studied setting. We provide an efficient procedure to estimate these second-order statistics without accessing either ground truth labels or prior knowledge of the noise rates. Experiments on CIFAR10 and CIFAR100 with synthetic instance-dependent label noise and Clothing1M with real-world human label noise verify our approach. Our implementation is available at https://github.com/UCSC-REAL/CAL.

研究の動機と目的

• 例の難易度に応じて誤標籤率が変動するインスタンス依存ラベルノイズの課題に対処すること。これは、標準的なクラス依存ノイズ補正手法の有効性を損なう。
• 第二階層統計、特にノイズ率とベイズ最適ラベルの間の共分散が、インスタンス依存ノイズの不均衡性を効果的にモデル化できることを示すこと。
• インスタンス依存ノイズ下での期待リスクを、唯一クラス依存ノイズを含む等価な問題に変換する手法を開発すること。これにより、整備済みのロバスト学習手法の適用が可能になる。
• 真のラベルや事前ノイズ率の知識が得られない状況でも、第二階層統計を推定する実用的で効率的な手順を提供すること。
• 合成ノイズ（CIFAR10/100）および実世界の人為アノテーションデータ（Clothing1M）を用いた実験的検証を通じて、一貫した性能向上を示すこと。

提案手法

• 本手法は、peer loss [24] を基にした新たな損失関数を導入し、インスタンス依存ノイズ下での期待リスクが、唯一クラス依存ノイズを含む変換されたリスクに等価であることを示している。
• この変換は、インスタンス依存ノイズ率とベイズ最適ラベルの間の重要な共分散項の推定に依存しており、データに生じる不均衡を捉えている。
• これらの第二階層統計は、事前学習済みモデルからの信頼性の高い予測を特定するサンプル選択技術を用いて推定され、真のラベルに依存しない。
• 本手法は二段階訓練プロセスを採用している：第一段階では標準的な交差エントロピーでモデルを学習し、第二段階では推定された共分散項を用いてCAL損失で再学習を行う。
• 共分散推定が不正確であってもロバストであるように設計されており、理論的な最悪ケース性能保証が提供されている。
• 最終的な損失関数は、ベイズ最適分布下での期待リスクのアフィン変換であり、清浄ラベルが利用可能である場合と同じ最小化点を持つことを保証している。

実験結果

リサーチクエスチョン

• RQ1 第二階層統計、特にノイズ率とベイズ最適ラベルの共分散は、インスタンス依存ラベルノイズによって引き起こされる不均衡性を効果的にモデル化できるか？
• RQ2 第二階層の手法により、インスタンス依存ノイズ下の学習問題を、唯一クラス依存ノイズを含む等価な問題に変換できるか？これにより、既存のロバスト手法の適用が可能になるか？
• RQ3 真のラベルや事前ノイズ率の知識が得られない状況でも、必要な第二階層統計を推定することは可能か？
• RQ4 提案されたCAL手法は、合成ノイズおよび実世界のノイズラベル設定の両方で、従来の第一階層手法を上回る性能を示すか？
• RQ5 共分散推定が不正確であっても、本手法のロバスト性は保たれるか？

主な発見

• 高ノイズ率（η=0.6）のCIFAR10では、CALは81.54%のテスト精度を達成し、peer項を組み合わせたCORES 2（85.55%）を84.41%の結果を上回り、1.14%の顕著な改善を示した。
• η=0.6のCIFAR100では、CALは81.54%の精度を達成し、標準的なCE損失（64.65%）および他のベースラインを著しく上回った。
• 実世界のClothing1Mデータセットでは、CALは74.17%のテスト精度を達成し、次に優れた手法（CORES 2の73.24%）を0.93%上回った。
• アブレーションスタディでは、peer項と組み合わせた際、共分散項そのものが1.14%の精度向上（84.41%から85.55%）をもたらし、独立した貢献を証明した。
• 共分散推定が不正確であっても、本手法は強固な性能を維持しており、理論的な最悪ケース保証がそのロバスト性を裏付けている。
• 第二階層統計は、モデルの予測に基づくサンプル選択法を用いて効率的に推定可能であり、真のラベルが不要なため、実用的かつ実装可能である。