[論文レビュー] Measuring the Transferability of Adversarial Examples

Deyan Petrov, Timothy M. Hospedales|arXiv (Cornell University)|Jul 14, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用数 15

ひとこと要約

本論文は、VGGおよびInceptionモデル間における adversarial example の転送性を、強力でパラメータ最適化された攻撃と、視覚的忠実度を測るための SSIM を用いた L-infinity クリッピングを用いて体系的かつ評価する。VGG モデル、特にアンサンブルは Inception モデルよりも転送性が高く、SSIM は L-infinity よりも視覚的品質をより適切に測定でき、攻撃評価のためのより公平なベンチマークを提供する。

ABSTRACT

Adversarial examples are of wide concern due to their impact on the reliability of contemporary machine learning systems. Effective adversarial examples are mostly found via white-box attacks. However, in some cases they can be transferred across models, thus enabling them to attack black-box models. In this work we evaluate the transferability of three adversarial attacks - the Fast Gradient Sign Method, the Basic Iterative Method, and the Carlini & Wagner method, across two classes of models - the VGG class(using VGG16, VGG19 and an ensemble of VGG16 and VGG19), and the Inception class(Inception V3, Xception, Inception Resnet V2, and an ensemble of the three). We also outline the problems with the assessment of transferability in the current body of research and attempt to amend them by picking specific "strong" parameters for the attacks, and by using a L-Infinity clipping technique and the SSIM metric for the final evaluation of the attack transferability.

研究の動機と目的

• パラメータの過適合と劣った視覚的メトリクスによる、先行研究における adversarial 転送性の評価の不一致およびバイアスを是正するため。
• 強力で視覚的に気づかれにくいパラメータ設定を用いて、FGSM、I-FGSM、C&W 攻撃の VGG および Inception モデル間での転送性を評価するため。
• L-infinity クリッピングと SSIM を用いて視覚的摂動を測定することで、評価の公平性を向上させ、視覚的直感への依存を減らすため。
• モデルアンサンブルが、さまざまな攻撃タイプにおいて adversarial 転送性を向上させるかどうかを特定するため。
• adversarial 攻撃の転送性を比較するための、より体系的かつ定量的なベンチマークを提供するため。

提案手法

• 著者らは、ソースモデルにおける誤分類を最大化するように最適化されたパラメータを用いた強力な、非指向的 adversarial 攻撃（FGSM、I-FGSM、C&W）を用いる。
• 摂動の大きさを制御し、一貫した視覚的歪みレベルを持つ adversarial 例を生成するために、L-infinity クリッピングを適用する。
• オリジナル画像と adversarial 画像間の SSIM を計算することで、視覚的類似度を測定し、人間の感覚に整合した評価指標を提供する。
• 異なるアーキテクチャ間でターゲットモデルに対する adversarial 例の成功確率を評価することで、転送性を測定する。
• 評価には、5つの標準的な ImageNet モデル（VGG16、VGG19、Inception V3、Xception、Inception ResNet V2）と2つのアンサンブルが含まれる。
• 視覚的品質と攻撃効果性の比較のために、SSIM、L-infinity、および Inception Score を用いて結果を分析する。

実験結果

リサーチクエスチョン

• RQ1 強力で視覚的に最適化されていない攻撃パラメータは、より信頼性があり一貫性のある転送性評価をもたらすか？
• RQ2 SSIM は adversarial 例の視覚的品質を測るうえで L-infinity よりも優れているか？
• RQ3 異なる adversarial 攻撃において、VGG と Inception のどちらのモデルアーキテクチャがより高い転送性を示すか？
• RQ4 モデルアンサンブルは、攻撃タイプやパラメータ設定に関係なく adversarial 転送性を向上させるか？
• RQ5 標準化された評価フレームワークは、バイアスを低減し、転送性ベンチマークの公平性を向上させられるか？

主な発見

• すべての攻撃において VGG-アンサンブル モデルが最も転送性が高く、次に VGG19 と VGG16 が続くが、Inception モデルは低い転送性を示す。
• FGSM 攻撃において、VGG-アンサンブルは他の VGG モデルに対して 90％ を超える成功率を達成し、最高の転送性を示す。
• SSIM は Inception Score よりも adversarial 画像の品質をより信頼性高く評価できる。Inception Score は視覚的忠実度と相関しないため。
• L-infinity と SSIM の結果は攻撃にわたって一貫しているが、SSIM は特に高摂動ケースにおいてより洗練された性能差を明らかにする。
• Inception モデルのアンサンブル化は転送性を向上させず、一部のケース（例：C&W で LR=7）では個々のモデルより性能が劣ることもあった。
• C&W 攻撃で LR=7 の場合、アンサンブルでの性能が最も悪く、アンサンブル平均化が強い攻撃に対しては耐性を高めないことが示された。