[論文レビュー] Exploring the Landscape of Spatial Robustness

Logan Engstrom, Brandon Tran+3 more|arXiv (Cornell University)|Dec 7, 2017

Land Use and Ecosystem Services被引用数 253

ひとこと要約

この論文は、小さな回転と平行移動に対するニューラル分類器の脆弱性を研究し、1階方法が最悪ケースの空間的摂動を見つけるのに苦労することを示し、頑健化の最適化と入力集約防御を提案して空間的頑健性を大きく改善する。

ABSTRACT

The study of adversarial robustness has so far largely focused on perturbations bound in p-norms. However, state-of-the-art models turn out to be also vulnerable to other, more natural classes of perturbations such as translations and rotations. In this work, we thoroughly investigate the vulnerability of neural network--based classifiers to rotations and translations. While data augmentation offers relatively small robustness, we use ideas from robust optimization and test-time input aggregation to significantly improve robustness. Finally we find that, in contrast to the p-norm case, first-order methods cannot reliably find worst-case perturbations. This highlights spatial robustness as a fundamentally different setting requiring additional study. Code available at https://github.com/MadryLab/adversarial_spatial and https://github.com/MadryLab/spatial-pytorch.

研究の動機と目的

• 小さな回転と平行移動が MNIST、CIFAR-10、ImageNet における画像分類器の精度をどのように低下させるかを評価する。
• 空間的摂動の最適化風景を特徴づけ、攻撃手法を比較する（1階最適化、グリッド探索、最悪-のkサンプリング）。
• 空間変換に対する頑健化を実装・評価し、頑健性を高める。
• 空間的摂動と従来のピクセルベース摂動との相互作用を検討する。
• 実用的な戦略（頑健な訓練と入力集約）を提案し、空間的頑健性を強化する。

提案手法

• 空間摂動を回転角度とピクセル平行移動でパラメータ化する。
• 攻撃は以下で構成:(i) 回転-平行移動パラメータ空間での1階最適化、(ii) 摂動空間のグリッド探索、(iii) 摂動の最悪-のkサンプリング。
• 微分可能な空間変換ネットワークを用いて T(x; delta_u, delta_v, theta) をバイリニア補間で実装する。
• 訓練中に各例ごとにk個の摂動の中で最悪を敵対的に選択することによる頑健化に基づく訓練を適用する。
• 推論時の集約として複数のランダムな空間変換に対して多数決を行うことを提案する。
• MNIST、CIFAR-10、ImageNet を、摂動空間を制限して評価する（最大約30度と約10%の平行移動）。
• 標準的な訓練、ランダム回転/平行移動、最悪-10訓練を含む防御を、ベースラインおよび l_infinity 対向訓練と比較する。

実験結果

リサーチクエスチョン

• RQ1 小さな回転と平行移動は、一般的なビジョンデータセットに対して分類器の精度にどのように影響するか。
• RQ2 最悪ケースの空間的摂動を見つける際、1階最適化法はグリッド探索やランダムサンプリングと比べて効果的か。
• RQ3 頑健訓練や入力集約戦略は空間的な脆弱性を緩和できるか。
• RQ4 空間的摂動はピクセルベースの(l_infty)摂動と相互作用するのか、頑健性の概念は直交的か。

主な発見

モデル	自然変換	ランダム	グリッド	乱れT	グリッドT	乱れR	グリッドR
MNIST	99.31%	94.23%	26.02%	98.61%	89.80%	95.68%	70.98%
CIFAR10	92.62%	60.93%	2.80%	88.54%	66.17%	75.36%	24.71%
ImageNet	75.96%	63.39%	31.42%	73.24%	60.42%	67.90%	44.98%

• 分類器は空間的摂動に対して脆弱であり、小さなランダム回転/平行移動が精度を大きく低下させる（MNIST、CIFAR-10、ImageNet で顕著な低下）。
• 徹底したグリッド探索ベースの敵対者は、空間的摂動に対して1階法よりも強力である。これは損失景観が高度に非凹であるためである。
• 最悪-10 のランダム空間摂動はブラックボックス系に近い強力な攻撃で、限られたクエリで大きな精度低下を達成する。
• ランダム空間変換によるデータ拡張は MNIST と CIFAR-10 の頑健性を改善するが ImageNet では効果が小さい；l_infinity 対向訓練は空間的頑健性を十分には提供しない。
• 頑健化（最悪-10 訓練）と多数推論（ランダム変換の集約）は空間的頑健性を大幅に高め、標準訓練と拡張だけよりも顕著な向上をもたらす。
• 空間的摂動と l_infinity 摂動はほとんど正交的な影響を持ち、両方に対する防御を取ると頑健性が累積的に向上する。