[論文レビュー] Robustness of Rotation-Equivariant Networks to Adversarial Perturbations

Béranger Dumont, Simona Maggio+1 more|arXiv (Cornell University)|Feb 19, 2018

Adversarial Robustness in Machine Learning参考文献 16被引用数 16

ひとこと要約

本稿は、MNIST、CIFAR-10、ImageNetにおける幾何的 adversarial 攻撃に対して、回転等長性を有する畳み込みニューラルネットワーク（G-CNN、H-Net、ORN）のロバスト性を調査する。回転等長性アーキテクチャは、回転および平行移動に基づく摂動に対して顕著に攻撃成功確率（ASR）を低下させ、CIFAR-10では最大33%、ImageNetでは19%の低下を示しており、幾何変換に対して本質的なロバスト性を有していることが示唆される。

ABSTRACT

Deep neural networks have been shown to be vulnerable to adversarial examples: very small perturbations of the input having a dramatic impact on the predictions. A wealth of adversarial attacks and distance metrics to quantify the similarity between natural and adversarial images have been proposed, recently enlarging the scope of adversarial examples with geometric transformations beyond pixel-wise attacks. In this context, we investigate the robustness to adversarial attacks of new Convolutional Neural Network architectures providing equivariance to rotations. We found that rotation-equivariant networks are significantly less vulnerable to geometric-based attacks than regular networks on the MNIST, CIFAR-10, and ImageNet datasets.

研究の動機と目的

• 回転等長性CNNのロバスト性を、回転、平行移動、空間的変換を含む幾何的 adversarial 攻撃に対して評価すること。
• MNIST、CIFAR-10、ImageNetといった複雑性の異なる複数のデータセットにおいて、G-CNN、H-Net、ORNを標準CNNと比較して性能を評価すること。
• 回転等長性といったインダクティブバイアスが、幾何的摂動に対して本質的にロバスト性を向上させるかどうかを評価すること。
• 攻撃成功確率と回転角度の相関関係を分析し、アーキテクチャごとの感受性の違いを明らかにすること。

提案手法

• パラメータ数を同等にした回転等長性ネットワーク（G-CNN、H-Net、ORN）と標準CNNを、MNIST、CIFAR-10、ImageNetで訓練した。
• 幾何的 adversarial 攻撃を適用：グローバル回転（±10°）、平行移動（±3ピixels）、空間変換付きの adversarial 例（stAdv、τ=0.10）。
• 標準化されたトレーニングおよび評価プロトコルを用い、ImageNetには事前学習済みモデル、GitHubからの公開実装を活用した。
• 各攻撃タイプとデータセットごとに攻撃成功確率（ASR）を測定し、ASRの分布と回転角度との相関関係を分析した。
• 空間変換器ベースの攻撃（stAdv）を用いて、空間的歪みが小さい幾何的に自然な adversarial 例を生成した。
• アーキテクチャの制約を同一にすることで、回転等長性がロバスト性に与える影響を明確に分離した。

実験結果

リサーチクエスチョン

• RQ1 回転等長性ネットワークは、回転および平行移動に基づく adversarial 攻撃に対して、標準CNNと比較してどの程度ロバスト性が高いか？
• RQ2 幾何的に自然な adversarial 攻撃（例：stAdv）は、回転等長性モデルに対してどの程度成功するか？
• RQ3 回転等長性の度合いが、異なるデータセットにおいて摂動に対する感受性の低減と相関しているか？
• RQ4 離散的回転群（例：G-CNN）と連続的回転等長性モデル（例：H-Net、ORN）の間で、幾何的攻撃に対するロバスト性に差があるか？
• RQ5 攻撃成功確率は回転の大きさに応じてどのように変化するか？また、この関係はモデルタイプによって異なるか？

主な発見

• MNISTでは、G-CNNの回転および平行移動の組み合わせ攻撃における攻撃成功確率（ASR）は3.4%であり、標準CNNの6.2%と比較して46%の相対的低下を示し、脆弱性が顕著に低減している。
• CIFAR-10では、G-ResNetは純粋な回転攻撃におけるASRを、ResNetの77.9%から52.1%にまで低下させ、成功確率が33%相対的に低下した。
• ImageNetでは、OR-ResNetは回転および平行移動の組み合わせ攻撃におけるASRを、ResNetの6.8%から5.7%にまで低下させ、ロバスト性が19%相対的に向上した。
• 空間変換付き adversarial 攻撃（stAdv）では、MNISTにおけるG-CNNのASRは80.1%であり、標準CNNの92.6%と比較して顕著に低く、幾何的歪みに対する耐性が向上している。
• MNISTにおけるG-CNNでは、攻撃成功確率と回転角度の間の相関係数ρが0.18であったのに対し、標準CNNでは0.28であったため、回転の大きさに対する感受性が低いことが示された。
• CIFAR-10では、G-ResNetのρ（0.33）はResNetのρ（0.07）よりも高いが、深層アーキテクチャにおいては回転等長性が感受性の低減に一貫して寄与するとは限らないものの、全体的なロバスト性は依然として高い。