[論文レビュー] Adaptive Sample Selection for Robust Learning under Label Noise

Deep Patel, P. S. Sastry|arXiv (Cornell University)|Jun 29, 2021

Machine Learning and Data Classification参考文献 44被引用数 6

ひとこと要約

本稿では、ラベルノイズ下でのロバストなディープラーニングのための適応的サンプル選択手法BARE（BAtch REweighting）を提案する。BAREは、ノイズ率の推定やクリーンな検証データ、追加のハイパーパrameterを必要とせず、ミニバッチ単位の損失統計（具体的には、クラス別平均と標準偏差）を用いて動的にサンプルを選択する。BAREはMNIST、CIFAR-10、Clothing-1Mで最先端のロバストネスを達成し、計算コストの増加は最小限に抑えられる。

ABSTRACT

Deep Neural Networks (DNNs) have been shown to be susceptible to memorization or overfitting in the presence of noisily-labelled data. For the problem of robust learning under such noisy data, several algorithms have been proposed. A prominent class of algorithms rely on sample selection strategies wherein, essentially, a fraction of samples with loss values below a certain threshold are selected for training. These algorithms are sensitive to such thresholds, and it is difficult to fix or learn these thresholds. Often, these algorithms also require information such as label noise rates which are typically unavailable in practice. In this paper, we propose an adaptive sample selection strategy that relies only on batch statistics of a given mini-batch to provide robustness against label noise. The algorithm does not have any additional hyperparameters for sample selection, does not need any information on noise rates and does not need access to separate data with clean labels. We empirically demonstrate the effectiveness of our algorithm on benchmark datasets.

研究の動機と目的

• 大規模データセットにおけるラベルノイズ下で深層ニューラルネットワークがノイズラベルに過学習する問題に対処すること。
• ロバストな学習アルゴリズムにおける外部のクリーンデータやノイズ率の事前知識への依存を排除すること。
• 追加のハイパーパrameterを必要とせず、適応的かつ効率的なサンプル選択戦略を開発すること。
• 補助ネットワークや複雑な訓練スキームを用いずに、対称的およびクラス条件付きのラベルノイズの両方に対してロバストネスを向上させること。

提案手法

• BAREは、クラス別ミニバッチ統計（損失値の平均と標準偏差）を用いて、各ミニバッチ内で動的閾値を計算する。
• 閾値未満（平均から標準偏差の一定割合を引いた値）の損失を持つサンプルが、学習に使用される。
• 閾値は各ミニバッチおよび各クラスごとに再計算され、リアルタイムの損失ダイナミクスに基づいた適応的カリキュラム学習が可能になる。
• 補助ネットワーク、別々のクリーンデータ、ノイズ率推定を必要としないため、軽量かつスケーラブルである。
• サンプル選択は、現在のバッチでの観測損失値にのみ依存しており、訓練中のモデル状態の変化に柔軟に対応できる。
• 標準的なバックプロパゲーションとエンドツーエンドに実装されており、損失フィルタリングを除き、コア訓練ループの変更は不要である。

実験結果

リサーチクエスチョン

• RQ1 ノイズ率やクリーンデータの事前知識が不要な状態で、ラベルノイズに適応するサンプル選択戦略を設計可能か？
• RQ2 バッチ単位の損失統計は、静的または学習された閾値と比較して、ラベルノイズ下での信頼性の高いサンプル選択においてどのように性能を発揮するか？
• RQ3 動的かつクラスに特化した閾値設定戦略は、ノイズのある訓練において一般化性能とロバストネスをどの程度向上できるか？
• RQ4 BAREは、精度、効率性、ハイパーパrameterへの感受性という観点で、最先端手法と比較してどのように性能を発揮するか？
• RQ5 本手法は、バッチサイズの変動や高クラス数の状況に対してもロバストか？

主な発見

• MNISTで50%の対称的ラベルノイズ下において、BAREは95.31%のテスト精度を達成し、CCEおよび他のベースラインを上回る。
• CIFAR-10で40%のクラス条件付きノイズ下において、BAREは70.63%の精度を達成し、高いノイズ下でも強いロバストネスを示す。
• 40%のノイズ下でBAREは1エポックあたり約80%のサンプルを選択しており、ノイズ率の入力が不要な状態で、期待されるクリーンサンプル比に非常に近い。
• 標準的なクロスエントロピー訓練と同等の速度で実行される一方、MR や MN といったベースラインは最大8倍も遅い。
• BAREはバッチサイズに依存せず、MNISTおよびCIFAR-10で64、128、256のバッチサイズすべてで一貫した性能を維持する。
• ノイズ率の誤推定に対してもBAREは性能劣化を示さないが、CoT、CoT+、CLは誤ったノイズ率入力に対して非常に感受性が高く、性能が著しく低下する。