[論文レビュー] Constrained Instance and Class Reweighting for Robust Learning under Label Noise

Abhishek Kumar, Ehsan Amid|arXiv (Cornell University)|Nov 9, 2021

Machine Learning and Data Classification被引用数 6

ひとこと要約

本稿では、制約付き発散最小化を用いて、動的かつ最適化に基づく訓練インスタンスおよびクラスの再重み付けにより、ラベルノイズ下でのロバストな学習を実現する原理的で効率的な手法を提案する。ミニバッチごとに閉形式の更新式を解くことで、最小限のメモリオーヘッドで最先端の性能を達成し、特に高ノイズ環境下でも優れた性能を示し、Mixupとの統合も可能である。

ABSTRACT

Deep neural networks have shown impressive performance in supervised learning, enabled by their ability to fit well to the provided training data. However, their performance is largely dependent on the quality of the training data and often degrades in the presence of noise. We propose a principled approach for tackling label noise with the aim of assigning importance weights to individual instances and class labels. Our method works by formulating a class of constrained optimization problems that yield simple closed form updates for these importance weights. The proposed optimization problems are solved per mini-batch which obviates the need of storing and updating the weights over the full dataset. Our optimization framework also provides a theoretical perspective on existing label smoothing heuristics for addressing label noise (such as label bootstrapping). We evaluate our method on several benchmark datasets and observe considerable performance gains in the presence of label noise.

研究の動機と目的

• ラベルノイズ下でのディープニューラルネットワークの性能劣化を、訓練インスタンスおよびクラスに対する重要度重みの動的割り当てによって是正すること。
• グローバルな重要度重みを保存しないスケーラブルな訓練手法を開発し、大規模およびストリーミング設定での利用を可能にすること。
• ラベルスムージングのヒューリスティクス（例：ラベルブートストラップ）を統一的な最適化フレームワークを通じて理論的基盤を提供すること。
• 対称的および非対称的ノイズを含むさまざまなラベルノイズ設定下でも、クリーンなテストデータにおける一般化性能の向上を図ること。
• Mixupなどのデータオーグメンテーション技術とシームレスに統合し、さらなる性能向上を実現すること。

提案手法

• インスタンス重みと基準分布（例：一様分布）との間の発散制約を満たすように、期待損失を最小化する制約付き最適化問題を定式化。α発散などの発散を用いる。
• ミニバッチごとに最適化問題を解き、全データセットにわたる重みの保存を避けながら、インスタンスおよびクラス重みの閉形式更新式を導出する。
• 2つの変種を導入：個々の例に対して重みを再設定する「制約付きインスタンス再重み付け（CIW）」と、インスタンスおよびクラスレベルの重み付けを統合する「制約付きインスタンスおよびクラス再重み付け（CICW）」。
• 特定の発散選択のもとで、ラベルブートストラップなどのヒューリスティクスがフレームワークの特殊ケースとして自然に導かれることが示され、理論的根拠が与えられる。
• Mixupに動的再重み付けを適用する新しい統合手法を提案し、より高いロバスト性を実現する。
• ミニバッチ最適化戦略を採用することで、大規模およびストリーミング学習に適した低メモリ・低計算量のオーバーヘッドを実現する。

実験結果

リサーチクエスチョン

• RQ1 インスタンスおよびクラス再重み付けの原理的で最適化に基づくフレームワークは、ディープラーニングにおけるラベルノイズに対するロバスト性を向上させ得るか？
• RQ2 提案手法は、高ラベルノイズ環境下で、既存の再重み付けおよび正則化手法よりも優れた一般化性能を達成するか？
• RQ3 大規模およびストリーミング設定に適した、最小限のメモリおよび計算量オーバーヘッドで効率的に実装可能か？
• RQ4 理論的基盤および実験的性能の観点から、ラベルスムージングや他のヒューリスティクスと比較して、本手法は優れているか？
• RQ5 Mixupなどのデータオーグメンテーション技術と効果的に統合可能で、さらなるロバスト性向上が見込めるか？

主な発見

• 提案されたCIWおよびCICW手法は、CIFAR-10およびCIFAR-100などの標準ベンチマークで、対称的および非対称的ラベルノイズ下において顕著な性能向上を達成した。
• 40%の対称的ラベルノイズ下のCIFAR-10では、CIW-ELRが78.5%のテスト精度を達成し、Bi-tempered（76.2%）およびAPNL（75.1%）を上回った。
• ハイパーパramータの変動に対してもロバストであり、異なる設定下でテスト精度が約2.5%の範囲で変動した。
• CIFAR-100で40%の非対称ノイズ下では、CICW-Mixup（Dyn-CICW-M）が、標準的なMixupおよび他のベースラインを上回り、最先端の結果を達成した。
• フレームワークにより、ラベルブートストラップなどのヒューリスティクスの理論的基盤が提供され、特定の発散選択のもとで自然に導かれることが示された。
• 追加のフォワードパスや補助ネットワークを必要とせず、低メモリ使用を維持するため、大規模およびストリーミング応用に適している。