[論文レビュー] Self-Adaptive Training: beyond Empirical Risk Minimization

Lang Huang, Chao Zhang+1 more|arXiv (Cornell University)|Feb 24, 2020

Machine Learning and Data Classification参考文献 54被引用数 88

ひとこと要約

本論文はSelf-Adaptive Trainingを紹介します。蓄積されたモデル予測を用いて訓練ターゲットとサンプル重みを適応させることで、追加の計算なしにラベルノイズおよび入力ノイズに対する頑健性を向上させ、ERMをノイズ状態と敵対的設定の両方で上回ります。ラベルノイズ分類と選択的分類の改善を可能にします。

ABSTRACT

We propose self-adaptive training---a new training algorithm that dynamically corrects problematic training labels by model predictions without incurring extra computational cost---to improve generalization of deep learning for potentially corrupted training data. This problem is crucial towards robustly learning from data that are corrupted by, e.g., label noises and out-of-distribution samples. The standard empirical risk minimization (ERM) for such data, however, may easily overfit noises and thus suffers from sub-optimal performance. In this paper, we observe that model predictions can substantially benefit the training process: self-adaptive training significantly improves generalization over ERM under various levels of noises, and mitigates the overfitting issue in both natural and adversarial training. We evaluate the error-capacity curve of self-adaptive training: the test error is monotonously decreasing w.r.t. model capacity. This is in sharp contrast to the recently-discovered double-descent phenomenon in ERM which might be a result of overfitting of noises. Experiments on CIFAR and ImageNet datasets verify the effectiveness of our approach in two applications: classification with label noise and selective classification. We release our code at https://github.com/LayneH/self-adaptive-training.

研究の動機と目的

• 標準的なERMを超えるランダムノイズや敵対的ノイズにより訓練データが汚染される場合の頑健な学習を動機づける。
• 訓練ダイナミクスを導くためにモデル予測を活用する訓練メカニズムを提案する。
• CIFAR/ ImageNet におけるラベルノイズと敵対的攻撃下での一般化の改善を実証する。
• 選択的分類への適用性を示し、頑健性と効率性を分析する。

提案手法

• 訓練ターゲットを徐々に修正するため、モデル予測の指数移動平均を導入する。
• 更新されたターゲットの最大エントリをサンプル重みとして計算し、ラベリングの信頼度を反映させる。
• 総サンプル重みで正規化する再重み付きクロスエントロピー損失で訓練する。
• ほぼ追加コストゼロで既存のアーキテクチャと訓練パイプラインとの互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多いデータへの過学習を抑制するために、モデル予測を動的に訓練信号の訂正に用いることは可能か。
• RQ2 Self-adaptive training はランダムノイズおよび敵対的ノイズ下での一般化誤差をERMと比較して低減しますか。
• RQ3 ラベルノイズを伴う分類や選択的分類のような応用で性能を改善できるか。

主な発見

• Self-adaptive training はノイズのあるデータに対する過剰適合を緩和し、複数のノイズタイプとレベルでERMより一般化誤差を低減する。
• ランダムノイズ下で、本手法は ERM で見られるダブルデセントではなく単一降下の誤差-容量曲線を生み出す。
• このアプローチは白箱PGD攻撃下でTRADESより1–3%の対敵頑健性を向上させる。
• CIFAR-10/100のラベルノイズでは、従来法より最大で9.3ポイント高い精度を達成し、ImageNetでは40%のラベルノイズ下でERMを約2%改善。
• 選択的分類において、データセットとカバー率の水準を問わず、最先端を最大50%相対的に改善する。