[論文レビュー] A randomized gradient-free attack on ReLU networks

Francesco Croce, Matthias Hein|arXiv (Cornell University)|Nov 28, 2018

Adversarial Robustness in Machine Learning参考文献 6被引用数 5

ひとこと要約

この論文は、ReLUニューラルネットワークの区分的アフィン幾何構造を活用して線形領域内で最適化することで、新たなランダム化された勾配フリー攻撃 rLR-QP を提案する。18回の実験のうち17回で最先端の Carlini-Wagner 攻撃を上回り、敵対的摂動の効率性において最大9%の相対的改善を達成した。

ABSTRACT

It has recently been shown that neural networks but also other classifiers are vulnerable to so called adversarial attacks e.g. in object recognition an almost non-perceivable change of the image changes the decision of the classifier. Relatively fast heuristics have been proposed to produce these adversarial inputs but the problem of finding the optimal adversarial input, that is with the minimal change of the input, is NP-hard. While methods based on mixed-integer optimization which find the optimal adversarial input have been developed, they do not scale to large networks. Currently, the attack scheme proposed by Carlini and Wagner is considered to produce the best adversarial inputs. In this paper we propose a new attack scheme for the class of ReLU networks based on a direct optimization on the resulting linear regions. In our experimental validation we improve in all except one experiment out of 18 over the Carlini-Wagner attack with a relative improvement of up to 9\%. As our approach is based on the geometrical structure of ReLU networks, it is less susceptible to defences targeting their functional properties.

研究の動機と目的

• 勾配ベースの防御に対してより頑健で、より効果的なReLUニューラルネットワーク向けの敵対的攻撃手法を開発すること。
• 正確な混合整数最適化手法のスケーラビリティの制限を克服しつつ、Carlini-Wagner のようなヒューリスティック攻撃を凌駕すること。
• ReLUネットワークの幾何的構造、特にその区分的アフィン性を活用して、最小の敵対的摂動を特定すること。
• 幾何構造に配慮した攻撃が、最先端の勾配ベース手法よりも優れた敵対的例を生成できることを示すこと。

提案手法

• この手法は、ReLUネットワークの各線形領域内で、分類器がアフィンであるとみなして、敵対的攻撃を二次計画問題として定式化する。
• 勾配に依存せず、勾配ベースの防御に対する脆弱性を低減するため、ランダム化された局所探索戦略を用いて線形領域を探索する。
• 以前の敵対的例をウォームスタートとして用いることで、反復的な精錬を実行し、摂動の質を段階的に向上させる。
• 探索空間の初期化に二分探索を用い、各線形領域内の二次計画問題は Gurobi ソルバで解く。
• 全結合層、残差層、プーリング層を含むReLUおよびプーリング層を用いたネットワークと互換性を持つように設計されている。
• CPUベースの最適化を用いてMATLABで実装されており、将来はGPUへの移植を予定し、スケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 ReLUネットワークの幾何的構造を活用する勾配フリー攻撃は、Carlini-Wagner のような最先端の勾配ベース攻撃を上回ることができるか？
• RQ2 rLR-QP 法は、さまざまなネットワークアーキテクチャとデータセットにおいて、Carlini-Wagner や DeepFool と比較してどのように性能を発揮するか？
• RQ3 探索プロセスの反復的精錬は、敵対的例の品質をどの程度向上させ得るか？
• RQ4 本手法は、勾配などの関数的性質を標的とする防御に対して、より頑健であるか？
• RQ5 本手法は、畳み込みニューラルネットワークのようなより深く複雑なアーキテクチャへ拡張可能か？

主な発見

• rLR-QP 攻撃は18回の実験のうち17回で Carlini-Wagner 攻撃を上回り、摂動サイズの面で最大9%の相対的改善を達成した。
• 平均して、rLR-QP 法は DeepFool と比較して $l_2$-ノルムを110%低減した。これは顕著な性能向上を示している。
• 初期実行後も、反復処理を繰り返すことで一貫した改善が得られ、第5反復目で最大45.7%の向上が観察された。
• 勾配に依存しないことから、勾配ベースの防御に対して頑健であるため、モデルのロバストネス評価に強力なツールとなる。
• 反復処理による段階的改善は、探索する線形領域の数を増やすことでさらなる性能向上が可能であることを示唆している。
• 本手法は MNIST、CIFAR-10、SVHN で有効であり、最大/平均プーリングとReLU活性化関数を用いた畳み込みネットワークへも拡張可能である。