[論文レビュー] Blind Knowledge Distillation for Robust Image Classification

Timo Kaiser, Lukas Ehmann+2 more|arXiv (Cornell University)|Nov 21, 2022

Machine Learning and Data Classification被引用数 8

ひとこと要約

本稿では、教師-生徒フレームワークの新規手法であるBlind Knowledge Distillationを提案する。この手法は、教師の真のラベル関連のログチットをマスクすることで、訓練中における過学習の発生を検出可能とし、Otsuのアルゴリズムを用いたノイズ推定と適応的早期停止を可能にする。CIFAR-Nのようなノイズのある画像データセットにおいて、手動でのウォームアップ段階を必要とせず、ラベルノイズの推定に基づく損失重みの補正により、最先端の性能を達成し、ロバスト性を向上させる。

ABSTRACT

Optimizing neural networks with noisy labels is a challenging task, especially if the label set contains real-world noise. Networks tend to generalize to reasonable patterns in the early training stages and overfit to specific details of noisy samples in the latter ones. We introduce Blind Knowledge Distillation - a novel teacher-student approach for learning with noisy labels by masking the ground truth related teacher output to filter out potentially corrupted knowledge and to estimate the tipping point from generalizing to overfitting. Based on this, we enable the estimation of noise in the training data with Otsus algorithm. With this estimation, we train the network with a modified weighted cross-entropy loss function. We show in our experiments that Blind Knowledge Distillation detects overfitting effectively during training and improves the detection of clean and noisy labels on the recently published CIFAR-N dataset. Code is available at GitHub.

研究の動機と目的

• 現実世界のラベルノイズを含む画像データセットにおける深層ニューラルネットワークの学習の課題に対処すること。これは、モデルの一般化性能を低下させる。
• ノイズのあるデータ上で、一般化から過学習への転換点を検出でき、適応的早期停止を可能とすること。
• 事前に定義されたしきい値やウォームアップ段階に依存せずに、各訓練サンプルが汚染済みまたはクリーンである確率を推定すること。
• ノイズ推定に基づく損失補正機構により、高ノイズレベル下でも分類精度を向上させること。
• 標準的な分類パイプラインにシームレスに統合できる、即挿し可能なロバストトレーニング手法を提供すること。

提案手法

• 本手法は、教師の真のラベル関連のログチットを除き、補完的ログチットのみを用いて学習する生徒ネットワークを採用する教師-生徒フレームワークを採用し、ラベルノイズへの過学習を防ぐ。
• 訓練中に生徒ネットワークの予測の平均的最大確率をモニタリングすることで、過学習の転換点を特定する。
• 転換点における真のラベル関連確率の分布にOtsuのアルゴリズムを適用し、クリーンサンプルとノイズのあるサンプルを自動で分離する。
• 推定されたラベル汚染の可能性に基づいて重みが決定される修正された重み付き交差エントロピー損失を用いる。
• 教師と生徒ネットワークの組み合わせ確率を最終予測として用い、単独で使用する場合よりも優れた性能を達成する。
• フレームワークは訓練中にオンラインで動作し、固定されたハイパーパrameterや手動でのウォームアップ段階を必要とせず、ノイズを動的に推定・訓練を調整する。

実験結果

リサーチクエスチョン

• RQ1 固定された早期停止スケジュールに依存せずに、訓練中にノイズのあるラベルの詳細への過学習の発生を自動で検出できるか？
• RQ2 転換点における予測の信頼性に基づいて、Otsuのアルゴリズムがクリーンサンプルとノイズのあるサンプルをどれほど効果的に分離できるか？
• RQ3 推定されたラベル汚染に基づく損失補正は、CIFAR-Nのような現実世界のノイズのあるデータセットにおいて、一般化性能をどの程度向上させるか？
• RQ4 真のラベルログチットにアクセスできない状態で学習する生徒ネットワークでも、汎用的特徴を学習し、高い精度を達成できるか？
• RQ5 教師と生徒の予測を組み合わせることで、単独で使用する場合と比較して、全体のロバスト性がどの程度向上するか？

主な発見

• Blind Knowledge Distillationは、一般化から過学習への転換点を成功裏に検出でき、ラベル検出のF1スコアがこの段階でピークに達する。
• 手動でのウォームアップ段階を必要とせず、CIFAR-10Nにおいても最先端の性能を達成する。特に高ノイズレベル下で顕著である。
• 組み合わせ予測確率 $P_A$ は、教師および生徒ネットワーク単体よりも優れた性能を示し、特に転換点近辺で顕著である。
• 教師が過学習を始めても、訓練中に真のラベルログチットが除外されているため、生徒ネットワークは高い精度を維持する。
• CIFAR-Nの「Worst」ノイズ設定においても分類精度が向上し、現実世界のラベルノイズに対して強いロバスト性を示す。
• Otsuのアルゴリズムは、転換点における $P(y=\overline{y}|x)$ の分布に基づき、クリーンとノイズのあるラベルを効果的に分離でき、正確なノイズ推定を可能にする。