[論文レビュー] A Rotation and a Translation Suffice: Fooling CNNs with Simple Transformations

Logan Engstrom, Brandon Tran+3 more|arXiv (Cornell University)|Dec 7, 2017

Adversarial Robustness in Machine Learning参考文献 30被引用数 273

ひとこと要約

この論文は、回転と平行移動といった単純な幾何変換が、データオーグメンテーションを用いて訓練されたモデルであっても、複数のデータセットにおいて畳み込みニューラルネットワーク（CNN）ビジョンモデルの性能を顕著に低下させることを示している。主な発見は、勾配に基づく敵対的攻撃やモデルへのアクセスを必要とせず、自然に見える変換がモデルを効果的にだますことができることであり、現在のビジョンモデルに根本的な脆弱性が存在することを明らかにしている。

ABSTRACT

Recent work has shown that neural network-based vision classifiers exhibit a significant vulnerability to misclassifications caused by imperceptible but adversarial perturbations of their inputs. These perturbations, however, are purely pixel-wise and built out of loss function gradients of either the attacked model or its surrogate. As a result, they tend to be contrived and look pretty artificial. This might suggest that such vulnerability to slight input perturbations can only arise in a truly adversarial setting and thus is unlikely to be an issue in more natural contexts. In this paper, we provide evidence that such belief might be incorrect. We demonstrate that significantly simpler, and more likely to occur naturally, transformations of the input - namely, rotations and translations alone, suffice to significantly degrade the classification performance of neural network-based vision models across a spectrum of datasets. This remains to be the case even when these models are trained using appropriate data augmentation. Finding such fooling transformations does not require having any special access to the model - just trying out a small number of random rotation and translation combinations already has a significant effect. These findings suggest that our current neural network-based vision models might not be as reliable as we tend to assume. Finally, we consider a new class of perturbations that combines rotations and translations with the standard pixel-wise attacks. We observe that these two types of input transformations are, in a sense, orthogonal to each other. Their effect on the performance of the model seems to be additive, while robustness to one type does not seem to affect the robustness to the other type. This suggests that this combined class of transformations is a more complete notion of similarity in the context of adversarial robustness of vision models.

研究の動機と目的

• 回転や平行移動といった単純な幾何変換が、敵対的ロバストネスの失敗を模倣する形でCNNの性能を低下させるかどうかを調査すること。
• 勾配情報や特定の敵対的訓練を一切得られない状況でも、これらの変換が有効であるかどうかを評価すること。
• 標準的なデータオーグメンテーションで訓練されたモデルが、こうした自然に見える変換に対してどれほど耐性を示すかを評価すること。
• 幾何変換と従来のピクセル単位の敵対的攻撃との関係を調査すること。
• 幾何変換とピクセル単位の摂動を組み合わせた場合、性能低下が加法的か、相乗的かを特定すること。

提案手法

• 著者らは、CIFAR-10、SVHN、ImageNetを含む複数のベンチマークデータセットからの入力画像に、ランダムな回転と平行移動の組み合わせを適用した。
• さまざまな事前学習済みCNN（ResNetやDenseNetなど）の分類精度に及ぼす影響を評価した。
• モデルへのアクセスは推論以外に不要。勾配やスラッグモデルを用いず、入力に直接変換を適用した。
• 幾何変換による性能低下を、標準的なFGSMスタイルの敵対的攻撃と比較した。
• 幾何変換と標準的なピクセル単位の敵対的攻撃を組み合わせ、モデルのロバストネスへの影響を評価した。
• 幾何変換とピクセル単位の摂動の直交性を分析し、それぞれの独立的および併用時のモデル精度への影響を測定した。

実験結果

リサーチクエスチョン

• RQ1 CIFAR-10などの標準的なビジョンベンチマークで、回転や平行移動といった単純な幾何変換が深層CNNの性能を低下させる可能性はあるか？
• RQ2 標準的なデータオーグメンテーションで訓練されたモデルであっても、これらの変換の有効性が維持されるか？
• RQ3 幾何変換に対するロバストネスと、標準的なピクセル単位の敵対的攻撃に対するロバストネスは相関しているか？
• RQ4 幾何変換とピクセル単位の摂動は、モデルの失敗に加法的効果か、相乗的効果をもたらすか？
• RQ5 勾配に基づく最適化やモデルへのアクセスなしに、これらの変換を用いてモデルをだますことができるか？

主な発見

• 回転と平行移動だけでも、標準的なデータオーグメンテーションで訓練された事前学習済みCNNの精度を、CIFAR-10や類似データセットで最大40％まで低下させる。
• 幾何変換による性能低下は、ピクセル単位でない自然な見た目の変換であるにもかかわらず、標準的なFGSM敵対的攻撃と同程度の大きさの低下を引き起こす。
• ランダムな回転と平行移動の組み合わせを適用する手法は、最小限の計算コストで顕著な誤分類率を達成でき、モデルへのアクセスも不要である。
• 幾何変換に対するロバストネスと、ピクセル単位の敵対的攻撃に対するロバストネスには相関がなく、これらは直交するタイプの摂動であることが示された。
• 幾何変換とピクセル単位の攻撃を組み合わせると、加法的な低下効果が得られ、両方の摂動を同時に考慮することがロバストネス評価において重要であることが示唆された。
• 結果から、現在のビジョンモデルは自然に見える入力変換に対して脆弱であることが明らかとなり、実世界での信頼性に関する仮定に疑問を呈するものとなった。