[論文レビュー] SemanticAdv: Generating Adversarial Examples via Attribute-conditional Image Editing

Haonan Qiu, Chaowei Xiao+4 more|arXiv (Cornell University)|Jun 19, 2019

Adversarial Robustness in Machine Learning参考文献 89被引用数 22

ひとこと要約

SemanticAdvは、分離表現と特徴空間内挿值を用いた制御された属性操作に基づいて画像を編集することで、意味的に現実的な adversarial examples を生成する新しい手法を提案する。この手法は、顔認識およびセマンティックセグメンテーションモデルにおいて、T-FPR = 10⁻³ 時に最大67.69%の標的攻撃成功率を達成し、ピクセルベースおよび属性ベースの防御を回避する。これは、Lp有界摂動を超える新たな脆弱性を露呈する。

ABSTRACT

Deep neural networks (DNNs) have achieved great success in various applications due to their strong expressive power. However, recent studies have shown that DNNs are vulnerable to adversarial examples which are manipulated instances targeting to mislead DNNs to make incorrect predictions. Currently, most such adversarial examples try to guarantee "subtle perturbation" by limiting the $L_p$ norm of the perturbation. In this paper, we aim to explore the impact of semantic manipulation on DNNs predictions by manipulating the semantic attributes of images and generate "unrestricted adversarial examples". In particular, we propose an algorithm \emph{SemanticAdv} which leverages disentangled semantic factors to generate adversarial perturbation by altering controlled semantic attributes to fool the learner towards various "adversarial" targets. We conduct extensive experiments to show that the semantic based adversarial examples can not only fool different learning tasks such as face verification and landmark detection, but also achieve high targeted attack success rate against \emph{real-world black-box} services such as Azure face verification service based on transferability. To further demonstrate the applicability of \emph{SemanticAdv} beyond face recognition domain, we also generate semantic perturbations on street-view images. Such adversarial examples with controlled semantic manipulation can shed light on further understanding about vulnerabilities of DNNs as well as potential defensive approaches.

研究の動機と目的

• Lp有界摂動に依存する従来の adversarial attack には意味的現実性に欠け、意味のある視覚的属性変化をモデル化できないという限界を是正すること。
• 特定の視覚的属性（例：髪の色、眼鏡）を操作しながら他の画像コンテンツを保持することで、深層ニューラルネットワークの脆弱性を微細に分析可能にする。
• 目に見えないピクセルレベルのノイズではなく、制御可能で解釈可能な意味的変化を伴う adversarial examples を生成する手法の開発。
• 特にピクセル空間または属性空間フィルタリングに基づく防御機構の耐性を評価すること。
• 顔認識を越えて、ストリートビュー画像のセマンティックセグメンテーションなどのより広範な視覚タスクへも本手法の一般化を示すこと。

提案手法

• 顔認識やセマンティックセグメンテーションタスクに適した、事前学習済みの属性条件付き画像生成モデル（例：StarGAN や layout-to-image モデル）を活用し、元の画像と比較して1つの意味的属性のみが変更された画像を生成する。
• 元の画像と属性編集済み画像の間で特徴空間内挿値を適用し、最終的な adversarial example を生成することで、意味的整合性と制御された摂動を確保する。
• 深層生成モデルから得られる分離表現を用いて、関連のない画像コンテンツを変更せずに特定の視覚的属性のみを分離・変更する。
• 内挿値により得られた画像を adversarial example として DNN を攻撃する。この際、誤分類を狙いながらも視覚的に妥当な外観を維持する。
• 顔認証およびセマンティックセグメンテーションモデルを用いて、白ボックスおよびブラックボックス設定の両方で攻撃を検証する。
• 画像編集のための条件入力としてセマンティックレイアウトを用いることで、ストリートビュー画像に対しても本フレームワークを拡張し、セグメンテーションモデルに対する攻撃を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Lp有界ノイズに依存せず、属性条件付き画像編集によって意味的に意味的で、視覚的に現実的な adversarial examples を生成できるか？
• RQ2 本手法は、実世界の DNN に対して、特にブラックボックス設定でも高い標的攻撃成功率を達成できるか？
• RQ3 特にピクセルベース（例：JPEG、ぼかし）および属性ベース（例：AMI）の防御機構は、このような意味的 adversarial examples に対して依然として有効であるか？
• RQ4 SemanticAdv の攻撃性能は、CW や PGD といった標準的な adversarial attack と比較して、トランスファービリティおよび耐性の観点でどう異なるか？
• RQ5 本手法は、顔認識を越えて、ストリートビュー画像のセマンティックセグメンテーションのような非顔視覚タスクへ一般化可能か？

主な発見

• SemanticAdv は顔認証モデルにおいて、T-FPR = 10⁻³ 時に 67.69% の標的攻撃成功率を達成し、CW（37.24%）や他のベースラインを上回る。
• T-FPR が 10⁻⁴ に厳しくなる条件でも攻撃成功率が 19.50% を維持するなど、強いトランスファービリティを示す。
• JPEG やぼかし、特徴空間圧縮といった既存のピクセルベース防御は、SemanticAdv に対して効果を示さず、攻撃成功率は依然として高い水準を維持する。
• 属性ベース防御のAMIは、SemanticAdv が生成した adversarial examples のうちたった 8% を正しく特定するにとどまり、CW の 12% と比較して脆弱であることが示された。
• adversarial training を用いた防御は、SemanticAdv 生成例に対してはたった 10% の正確性しか示さない一方で、PGD に対しては 46.7% の正確性を示す。これは、現在の adversarial training が意味的摂動に対しては効果を示さないことを示している。
• 本手法は、車両を挿入する、歩行者を移動させるなどの操作により、セマンティックセグメンテーションモデルを攻撃し、モデルが重要なオブジェクトを誤分類または無視させることが可能であった。