[論文レビュー] Probabilistic End-to-end Noise Correction for Learning with Noisy Labels

Kun Yi, Jianxin Wu|arXiv (Cornell University)|Mar 19, 2019

Machine Learning and Data Classification参考文献 31被引用数 67

ひとこと要約

PENCILはノイズのあるラベルをエンドツーエンドで修正するためにラベル分布を同時に更新しつつニューラルネットワークを訓練します。クリーンな補助データセットや事前のノイズ情報を必要としません。

ABSTRACT

Deep learning has achieved excellent performance in various computer vision tasks, but requires a lot of training examples with clean labels. It is easy to collect a dataset with noisy labels, but such noise makes networks overfit seriously and accuracies drop dramatically. To address this problem, we propose an end-to-end framework called PENCIL, which can update both network parameters and label estimations as label distributions. PENCIL is independent of the backbone network structure and does not need an auxiliary clean dataset or prior information about noise, thus it is more general and robust than existing methods and is easy to apply. PENCIL outperforms previous state-of-the-art methods by large margins on both synthetic and real-world datasets with different noise types and noise rates. Experiments show that PENCIL is robust on clean datasets, too.

研究の動機と目的

• クリーンデータやノイズ事前情報が利用できない深層ネットワークにおけるノイズ付きラベル下での頑健な学習を動機づける。
• 訓練中に更新可能な確率的ラベルモデルを提案し、ノイズを修正する。
• ネットワークパラメータとサンプルごとのラベル分布の両方を更新するエンドツーエンドの学習フレームワークを開発する。
• 合成データと実世界データのノイズ付きラベルデータセットに対して頑健性と最先端の性能を示す。

提案手法

• 各画像のラベルを固定のワンホットラベルではなく、クラスの分布（ラベル分布）としてモデル化する。
• バックプロパゲーションによってネットワークパラメータとサンプルごとのラベル分布を共同最適化する。
• ラベル分布に関するKL発散の変種（L_c）に基づく分類損失を用い、その勾配特性を説明して効果的なノイズ訂正を促す。
• 有用な情報を捨てずにラベル分布をノイズ付きラベルに結びつける適合性損失（L_o）を含める。
• 平坦な予測への早期収束を防ぎ、識別可能な出力を促すエントロピー正則化項（L_e）を追加する。
• 高学習率でのバックボーンの事前学習、ノイズを訂正するPENCILのエンドツーエンド学習、固定ラベル分布での最終微調整という3段階の訓練ワークフローを提供する。

実験結果

リサーチクエスチョン

• RQ1 外部のクリーンデータやノイズ事前情報を用いずに、エンドツーエンドでラベル分布を効果的に更新してノイズ付きラベルを訂正できるか。
• RQ2 固定ラベルを学習可能なラベル分布に置き換えることで、対称ノイズおよび非対称ノイズの両方に対するロバスト性がデータセット間で向上するか。
• RQ3 従来のKL損失と比較して、提案された損失式がノイズ訂正の勾配更新にどのような影響を与えるか。
• RQ4 PENCILは実世界のノイズデータとクリーンデータの両方に対して頑健か。

主な発見

• PENCILはCIFAR-10、CIFAR-100、Clothing1Mにおいて、さまざまなノイズタイプと割合で従来法を大幅に上回る。
• このフレームワークはクリーンなデータセットでも頑健であり、実践的には学習されたラベル分布が真のラベルと一致する。
• PENCILは合成データ（対称および非対称）と実データの両方で中程度のノイズレベルに対して強い頑健性を示す。
• 非常に高いノイズ（80%対称）という極端なケースは、正しいラベルがマイノリティとなり手法が苦戦する失敗モードを明らかにし、その限界を浮き彫りにする。
• 本手法は補助的なクリーンデータやノイズ遷移行列に関する事前知識を必要とせず、広く適用可能である。