[論文レビュー] Cost-Sensitive Robustness against Adversarial Examples

Xiao Zhang, David Evans|arXiv (Cornell University)|Oct 22, 2018

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

本稿では、全体的な adversarial robustness とは対照的に、クラス固有のコストを訓練目的に組み込むことで、より実用的な代替手段としてコストセンシティブなロバストネスを提案している。Wong & Kolter (2018) のロバスト訓練フレームワークにコスト行列を組み込むことで、MNIST および CIFAR10 において高い標準的正答率を維持しながら、コスト重み付きロバスト誤差を顕著に低減し、高影響度の adversarial 変換に対して改善されたセキュリティを示している。

ABSTRACT

Several recent works have developed methods for training classifiers that are certifiably robust against norm-bounded adversarial perturbations. These methods assume that all the adversarial transformations are equally important, which is seldom the case in real-world applications. We advocate for cost-sensitive robustness as the criteria for measuring the classifier's performance for tasks where some adversarial transformation are more important than others. We encode the potential harm of each adversarial transformation in a cost matrix, and propose a general objective function to adapt the robust training method of Wong & Kolter (2018) to optimize for cost-sensitive robustness. Our experiments on simple MNIST and CIFAR10 models with a variety of cost matrices show that the proposed approach can produce models with substantially reduced cost-sensitive robust error, while maintaining classification accuracy.

研究の動機と目的

• 既存のロバスト訓練手法が、現実世界への影響に関係なくすべての adversarial パーティクルを同様に扱うという限界に対処すること。
• 各変換の潜在的被害をエンコードするコスト行列を用いて、異なる adversarial 誤分類の深刻さの差をモデル化すること。
• 全体的なロバストネスではなく、コストセンシティブなロバストネスを最適化する一般化可能な訓練目的を開発すること。
• 高い標準的正答率を維持しながら、高コストの adversarial 変換に対するロバストネスを顕著に向上させること。

提案手法

• 本手法は、Wong & Kolter (2018) の認証ロバストネスフレームワークを、コスト行列 $\bm{C}$ を訓練目的に組み込むことで拡張する。
• コスト重み付きロバスト誤差を定式化し、訓練損失において高コストの誤分類を優先して最小化する。
• コスト行列が考慮される adversarial パーティクルの大きさに影響を与えるように、修正されたロバスト最適化手順を用いて訓練目的を最適化する。
• 本手法は、二値および実数値の両方のコスト行列をサポートしており、さまざまな脅威シナリオの柔軟なモデリングを可能にする。
• クリーンデータ上の標準的交差エントロピー損失とコストセンシティブなロバストネス目的をバランスさせることで、標準的正答率を維持する。
• 既存の認証ロバスト訓練パイプラインと互換性があり、標準的な画像分類モデルに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 現実世界の脅威優先順位を反映する形で、すべての誤分類を同様に扱うのではなく、adversarial ロバストネスを向上させることは可能か？
• RQ2 訓練目的にコスト行列を組み込むと、標準的正答率とロバストネスのトレードオフにどのような影響を与えるか？
• RQ3 提案手法は、類似する標準的正答率を維持しながら、高影響度の adversarial 変換においてより優れた性能を達成できるか？
• RQ4 二値および実数値のコスト行列を含むさまざまなコスト行列構造において、本手法はどのようにスケーリングするか？
• RQ5 さまざまな adversarial 強度下で、コストセンシティブなアプローチは、全体的なロバストネスベースラインを上回るか？

主な発見

• MNIST においてシードデジット（9）を1つに設定した場合、コストセンシティブモデルは、実数値コスト行列下でコストセンシティブなロバスト誤差を、ベースラインの1.20％から0.45％に低減した。
• CIFAR10 において（犬、鳥）変換でコストが10の場合、モデルはコストセンシティブなロバスト誤差を、ベースラインの28.90％から15.40％に低減した。
• CIFAR10 における（鹿、動物）タスクでは、コストセンシティブモデルがコストセンシティブなロバスト誤差3.77％を達成したのに対し、ベースラインは16.99％であった。
• 本手法は、すべてのタスクでほぼ同一の標準的分類正答率（約31.80％）を維持しており、クリーンデータ性能に劣化がないことを示している。
• adversarial 強度 $\epsilon$ が増加するにつれて、特に高コストの変換において、ベースラインに対するコストセンシティブなロバストネスの向上が顕著に顕在した。
• ヒートマップの結果、コストセンシティブモデルは、車両から動物への変換において特に顕著に、高コスト領域のロバスト誤差を著しく低減していた。