[論文レビュー] Revisiting Adversarial Risk

Arun Sai Suggala, Adarsh Prasad+2 more|arXiv (Cornell University)|Jun 7, 2018

Adversarial Robustness in Machine Learning参考文献 28被引用数 12

ひとこと要約

この論文は、真のラベルの変更を除外するように adversarial パーティクルを再定義し、標準的精度と adversarial 精度の間の見かけ上のトレードオフを解消する。真のラベルが変化しないまま予測を変えるパerturbation のみにペナルティを課す定義に変更することで、著者たちは、ロバストで高精度な分類器が存在することを証明し、従来の「本質的トレードオフ」の主張に疑問を呈する。

ABSTRACT

Recent works on adversarial perturbations show that there is an inherent trade-off between standard test accuracy and adversarial accuracy. Specifically, they show that no classifier can simultaneously be robust to adversarial perturbations and achieve high standard test accuracy. However, this is contrary to the standard notion that on tasks such as image classification, humans are robust classifiers with low error rate. In this work, we show that the main reason behind this confusion is the inexact definition of adversarial perturbation that is used in the literature. To fix this issue, we propose a slight, yet important modification to the existing definition of adversarial perturbation. Based on the modified definition, we show that there is no trade-off between adversarial and standard accuracies; there exist classifiers that are robust and achieve high standard accuracy. We further study several properties of this new definition of adversarial risk and its relation to the existing definition.

研究の動機と目的

• 深層学習モデルが adversarial 攻撃に対して脆弱であるのに対し、人間が画像分類においては頑健であるという矛盾を解消すること。
• 入力の近傍において真のラベルが一定であると仮定する従来の adversarial リスク定義の欠陥を特定すること。
• 真のラベルが変化するパerturbation を除外する、adversarial パーティクルの再定義を提案すること。
• 新しい定義のもとで、標準的精度と adversarial 精度の間には本質的トレードオフが存在しないことを示すこと。
• 分類器が、高精度な標準的精度と adversarial パーティクルに対するロバスト性の両方を達成できることを示すこと。

提案手法

• 真のラベルが変化するあらゆるパerturbation を除外する、adversarial パーティクルの修正定義を提案する。
• 真のラベルを保持するが分類器の出力を変えるパerturbation に基づいて adversarial リスクを定義する。
• マージンに基づく解析を用いて、新しい定義のもとで高精度な標準的精度がロバスト性を妨げないことを示す。
• 0-1分類誤差と重みベクトルの双対ノルムに依存する adversarial リスクの下界を導出する。
• Projected Gradient Descent (PGD) を用いて adversarial 訓練を行い、新しいリスク定義のもとでモデルを評価する。
• ハイパーパrameter λ が標準的精度と adversarial 精度のトレードオフに与える影響を分析し、λ=1 が常に最適でないことを示す。

実験結果

リサーチクエスチョン

• RQ1 標準的精度と adversarial 精度の間の見かけ上のトレードオフは、ラベル変更を含む不正確な adversarial パーティクル定義に起因しているか？
• RQ2 adversarial リスクの再定義のもとで、分類器が高精度な標準的精度と高精度な adversarial ロバスト性を同時に達成できるか？
• RQ3 ラベル変更パerturbation を除外することで、adversarial リスクの理論的・実験的挙動にどのような影響が生じるか？
• RQ4 adversarial 訓練目的関数におけるハイパーパrameter λ の選択が、標準的性能と adversarial 性能のバランスに与える影響は何か？
• RQ5 新しい adversarial リスク定義のもとで、形式的検証によるロバスト性の評価は意味を持つだろうか？

主な発見

• 従来の標準的・adversarial 精度のトレードオフに関する主張の核心的問題は、ラベル変更を含む不正確な adversarial パーティクル定義に起因する。
• 再定義された定義のもとでは、本質的トレードオフが存在しない：分類器は、高精度な標準的精度とロバスト性を同時に達成できる。
• 新しい定義のもとでの adversarial リスクは、0-1分類誤差と重みベクトルの双対ノルムに比例する項によって下界づけられる。
• 実験により、λ≠1 での adversarial 訓練が λ=1 よりも優れた統合的性能を示すことが判明し、λ=1 が最適でないことが示された。
• 修正された定義は、人間の認識とより整合性がある：真のラベルを変えるパerturbation は、人間が adversarial とは考えないため。