[論文レビュー] Towards Robust Dataset Learning

Yihan Wu, Xinda Li+3 more|arXiv (Cornell University)|Nov 19, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、自然な訓練によって敵対的ロバストなモデルが得られるようにする、ロバストなデータセットを学習するための三段階最適化フレームワークを提案する。分類器をデータセットの関数として定式化し、クリーンな精度とロバストな精度の両方を最適化することで、AutoAttackにおけるCIFAR10上でのロバスト精度が59.52%に達し、最先端技術を11.3ポイント上回る。さらに、最小限の計算コストで高速な下流の訓練が可能である。

ABSTRACT

Adversarial training has been actively studied in recent computer vision research to improve the robustness of models. However, due to the huge computational cost of generating adversarial samples, adversarial training methods are often slow. In this paper, we study the problem of learning a robust dataset such that any classifier naturally trained on the dataset is adversarially robust. Such a dataset benefits the downstream tasks as natural training is much faster than adversarial training, and demonstrates that the desired property of robustness is transferable between models and data. In this work, we propose a principled, tri-level optimization to formulate the robust dataset learning problem. We show that, under an abstraction model that characterizes robust vs. non-robust features, the proposed method provably learns a robust dataset. Extensive experiments on MNIST, CIFAR10, and TinyImageNet demostrate the effectiveness of our algorithm with different network initializations and architectures.

研究の動機と目的

• 自然な訓練によって敵対的摂動に対してロバストなモデルが得られるようなデータセットを学習するための原則的で整合性のある手法を開発すること。
• 敵対的訓練の高い計算コストを克服し、ロバスト性をモデルからデータへと移行させること。
• 異なるモデルアーキテクチャーや重み初期化においてもロバスト性の転送を可能にすること。
• ロバストでない特徴とロバストな特徴を分離する特徴抽象化モデルにおいて、ロバスト性の理論的保証を提供すること。
• 元のサイズの10%程度の小さなロバストデータセットが、最小限の訓練オーバーヘッドで高いロバスト精度を達成できることを示すこと。

提案手法

• ロバストなデータセット学習を三段階最適化問題として定式化：データセットを最適化して、データに依存する分類器のロバスト性を向上させる。
• モデル重みをデータセットの関数としてパラメータ化することで、ロバスト性を向上させるためにデータをエンドツーエンド最適化可能にする。
• 内側のループで敵対的攻撃を生成し、データセット最適化中に非ロバストな特徴を特定・ペナルティ化する。
• ロバストな特徴と非ロバストな特徴を区別する理論的抽象化モデルを用いて、学習済みデータセットの保証可能なロバスト性を証明する。
• 勾配ベースの最適化を用いて、クリーン精度とロバスト精度の両方を最大化するように、段階的にデータセットを改善する。
• 多様な脅威モデルを想定したロバストネス評価のため、AutoAttackや他の敵対的ベンチマークを用いる。

実験結果

リサーチクエスチョン

• RQ1 自然な訓練によって敵対的摂動に対してロバストなモデルが得られるようなデータセットを学習できるか？
• RQ2 学習されたロバスト性は、異なるモデルアーキテクチャーや重み初期化においても転送可能か？
• RQ3 元のサイズの10%程度の大幅に小さいデータセットが、この手法によって高いロバスト精度を達成できるか？
• RQ4 提案された三段階最適化フレームワークは、特徴抽象化モデルの下で、理論的にロバストなデータセットを学習可能か？
• RQ5 提案手法のロバストデータセットの性能は、ロバストな分類器から得られる敵対的データや特徴抽出手法といったベースラインと比べてどうか？

主な発見

• 提案手法は、0.25 ℓ₂ の AutoAttack 脅威モデル下でCIFAR10で59.52%のロバスト精度を達成し、前例の最先端技術（48.20%）を11.32ポイント上回った。
• MNISTでは0.2 ℓ∞ 脅威モデル下で52.51%のロバスト精度を達成し、ランダムシードの変動（±0.59）に対しても強い一般化性を示した。
• 元のデータセットサイズの10%のみを用いても、CIFAR10では42.61%、TinyImageNetでは24.38%のロバスト精度を達成し、スケーラビリティと効率性を示した。
• ロバストデータセットは転送性を有する：異なるアーキテクチャ（例：ResNet-34、ResNet-50）や初期化を用いた分類器が、さまざまな攻撃に対して高いロバスト性を達成した。
• 敵対的データを用いたロバスト分類器や特徴抽出手法といったベースラインとは異なり、自然な訓練下でも非ロバストなモデルが得られるのを防ぐことができた。
• ロバストデータセットの学習時間はA5000 GPUで約2時間であり、その上で分類器を微調整するには10分未満で済む。これは、1日以上かかる敵対的訓練に比べて顕著に高速である。