[論文レビュー] Efficient Decision-based Black-box Adversarial Attacks on Face Recognition

Yinpeng Dong, Hang Su+5 more|arXiv (Cornell University)|Apr 9, 2019

Adversarial Robustness in Machine Learning参考文献 38被引用数 15

ひとこと要約

本論文は、局所的な幾何構造モデリングと次元削減を活用して、より少ないクエリで摂動を最小化する、意思決定ベースのブラックボックス敵対的攻撃における効率的な遺伝的攻撃手法を提案する。クエリ効率が最先端水準に達し、敵対的歪みも小さく抑えられ、Tencent AI Platformの実世界の顔認証APIに対しても成功裏に攻撃を実行した。MSEは2.54e-3と、ベースライン手法を下回った。

ABSTRACT

Face recognition has obtained remarkable progress in recent years due to the great improvement of deep convolutional neural networks (CNNs). However, deep CNNs are vulnerable to adversarial examples, which can cause fateful consequences in real-world face recognition applications with security-sensitive purposes. Adversarial attacks are widely studied as they can identify the vulnerability of the models before they are deployed. In this paper, we evaluate the robustness of state-of-the-art face recognition models in the decision-based black-box attack setting, where the attackers have no access to the model parameters and gradients, but can only acquire hard-label predictions by sending queries to the target model. This attack setting is more practical in real-world face recognition systems. To improve the efficiency of previous methods, we propose an evolutionary attack algorithm, which can model the local geometries of the search directions and reduce the dimension of the search space. Extensive experiments demonstrate the effectiveness of the proposed method that induces a minimum perturbation to an input face image with fewer queries. We also apply the proposed method to attack a real-world face recognition system successfully.

研究の動機と目的

• 実世界の意思決定ベースのブラックボックス攻撃設定（ハードラベルクエリのみ利用可能）における最先端顔認識モデルの耐性を評価すること。
• 過剰なクエリ数を要するか、大きな摂動を生じさせる既存のブラックボックス攻撃の非効率性を是正すること。
• 探索方向最適化の向上と有効探索空間次元の低減を図るクエリ効率の高い敵対的攻撃手法を開発すること。
• Tencent AI Platformの実世界の顔認証APIを実際に攻撃することで、実用的応用性を実証すること。

提案手法

• 本手法は、探索方向の局所的幾何構造を共分散行列を用いてモデリングし、クエリ効率の高い探索を導く遺伝的攻撃フレームワークを採用する。
• 共分散行列の対角成分に比例する確率に基づく座標選択を実施し、より情報の多い方向に注目することで収束性を向上させる。
• 次元削減を実現するため、探索空間を低次元部分空間（例：45×45×3）に制限することで、効率性と摂動品質のバランスを取る。
• 勾配やモデルパラメータを一切必要とせず、ハードラベルクエリのみで動作するため、実世界のブラックボックスシステムに適している。
• アルゴリズムは、ターゲットモデルへのクエリとクエリ結果に基づく探索分布の更新を繰り返し行い、摂動を段階的に最適化する。
• 攻撃の耐性評価を異なる脅威モデルに対応させるために、回避攻撃（dodging）と模倣攻撃（impersonation）戦略を統合する。

Figure 1: Demonstration of the decision-based black-box attack setting. Given a black-box model, the attackers use queries to generate adversarial examples with minimum perturbations.

実験結果

リサーチクエスチョン

• RQ1 既存手法と比較して、意思決定ベースのブラックボックス顔認識攻撃において、遺伝的攻撃手法がより高いクエリ効率を達成できるか？
• RQ2 探索方向の局所的幾何構造をモデリングすることで、クエリ制約下での敵対的攻撃性能がどのように向上するか？
• RQ3 攻撃成功確率と摂動の大きさのバランスを取る最適な探索空間次元は何か？
• RQ4 提案手法は、最小限の視覚的歪みで実世界の顔認証APIを回避できる敵対的例を実際に生成できるか？

主な発見

• 提案された遺伝的攻撃は、Tencent AI face verification APIにおいて、平均歪みが最小（MSE = 2.54e-3）を達成し、Boundary法（1.63e-2）やOptimization法（1.71e-2）を上回った。
• 低次元探索空間では収束が早く、摂動も小さくなる傾向にあり、45×45×3が効率性と品質のバランスを取る最適次元と特定された。
• 共分散行列の対角成分（cii）に基づく座標選択は、一様サンプリングに比べて顕著に攻撃性能を向上させ、適応的サンプリングの有効性を示した。
• 本手法は、実世界の顔認証システムを回避できる敵対的例を成功裏に生成し、実用的応用性を確認した。
• LFWおよびMegaFaceデータセットを用いた広範な実験により、最先端顔認識モデルがブラックボックス攻撃に対して依然として耐性を示さないことが判明し、セキュリティ上の脆弱性が浮き彫りになった。

Figure 2: The results on face verification conducted on the LFW dataset. We show the curves of the average distortions (MSEs) of the adversarial images generated by different attack methods for SphereFace, CosFace, and ArcFace over the number of queries.