[論文レビュー] Data Quality Matters For Adversarial Training: An Empirical Study

Chengyu Dong, Liyuan Liu+1 more|arXiv (Cornell University)|Feb 15, 2021

Adversarial Robustness in Machine Learning参考文献 97被引用数 4

ひとこと要約

本論文は、敵対的訓練における主な課題—頑健な過学習、頑健性の過大評価、頑健性と精度のトレードオフ—の根本的原因が、トレーニングセットにおける低品質データであることを示している。敵対的訓練中に学習安定性を測定することでデータ品質を評価し、低品質な例を除去することで、これらの問題が顕著に軽減され、より信頼性の高い頑健性が得られるとともに、精度の低下が最小限に抑えられることを示している。

ABSTRACT

Multiple intriguing problems are hovering in adversarial training, including robust overfitting, robustness overestimation, and robustness-accuracy trade-off. These problems pose great challenges to both reliable evaluation and practical deployment. Here, we empirically show that these problems share one common cause -- low-quality samples in the dataset. Specifically, we first propose a strategy to measure the data quality based on the learning behaviors of the data during adversarial training and find that low-quality data may not be useful and even detrimental to the adversarial robustness. We then design controlled experiments to investigate the interconnections between data quality and problems in adversarial training. We find that when low-quality data is removed, robust overfitting and robustness overestimation can be largely alleviated; and robustness-accuracy trade-off becomes less significant. These observations not only verify our intuition about data quality but may also open new opportunities to advance adversarial training.

研究の動機と目的

• 敵対的訓練におけるデータ品質の役割を調査すること、特に頑健な過学習、頑健性の過大評価、および頑健性と精度のトレードオフに与える影響を明らかにすること。
• 敵対的訓練中の学習安定性に基づくデータ品質の測定戦略を構築すること。
• 実験的に、低品質なデータが敵対的頑健性を損なうとともに、評価指標を歪めることを示すこと。
• 高品質なデータを用いることで、頑健性と精度のトレードオフが最小限に抑えられ、過学習も軽減されることを示すこと。
• モデルアーキテクチャや最適化に注目した先行研究とは異なり、敵対的訓練の問題を包括的かつデータ中心に分析すること。

提案手法

• 敵対的訓練中の例の安定性に基づくデータ品質指標を提案する—学習が不安定であることは低品質なデータを示す。
• 提案された指標を用いて、CIFAR-10、CIFAR-100、Tiny-ImageNetのデータセットを、クラスバランスを保ちつつ、同じサイズの高品質および低品質サブセットに分割する。
• ResNetおよびWide ResNetアーキテクチャを用いて、PGDおよびTRADESを用いた敵対的訓練において、高品質サブセットと低品質サブセットの間で制御された実験を実施する。
• 標的攻撃を用いたファインチューニングを実施し、特定のクラスにおける頑健性の損失および認識可能性の低下を評価する。
• PGD-10とAuto Attackの評価結果の差（ギャップ）を測定することで、頑健性の過大評価を分析し、競合クラスおよび低品質例の役割を検討する。
• 敵対的攻撃内の内部最大化プロセスを分析し、低品質データがどのように敵対的摂動の効果を低下させるかを説明する。

実験結果

リサーチクエスチョン

• RQ1 学習安定性で測定されるデータ品質は、敵対的頑健性および学習ダイナミクスにどのように影響するか？
• RQ2 低品質なデータは、敵対的訓練における頑健な過学習にどの程度寄与しているか？
• RQ3 低品質なデータは、頑健性の過大評価を引き起こす可能性があるか？ もしそうならば、どのような条件下で起こるか？
• RQ4 データ品質は、敵対的訓練における頑健性と精度のトレードオフにどのように影響するか？
• RQ5 低品質なデータがなぜ敵対的頑健性を損なうのかを説明するメカニズムは何か、特に特徴の曖昧さと競合クラスの観点から。

主な発見

• 敵対的訓練中に学習が不安定であると判明した低品質なデータは、敵対的頑健性に悪影響を及ぼし、ひどい場合には有害である。
• 低品質なデータを用いた敵対的訓練は、モデルがクラス間で一貫した頑健性を一般化できない、顕著な頑健な過学習を引き起こす。
• 2つの「競合クラス」（例：機体と船）からの低品質な例を高品質サブセットに追加すると、頑健性の過大評価が顕著に増加し、過大評価のギャップも顕著に上昇する。
• 高品質なデータのみを用いる場合、頑健性と精度のトレードオフは最小限に抑えられ、低品質データを用いる場合と異なり、遅い学習段階でのみ顕著に現れる。
• 低品質なデータを用いたファインチューニングでは、標的クラスの頑健な精度が顕著に低下し、頑健な認識可能性が失われる一方、高品質なデータを用いたファインチューニングでは性能が維持される。
• 頑健性の過大評価のメカニズムは、低品質なデータに由来する曖昧な特徴に起因しており、これにより異なるクラスの特徴が区別できにくくなり、敵対的摂動の生成能力が低下する。