[論文レビュー] Adversarial Generative Nets: Neural Network Attacks on State-of-the-Art Face Recognition.

Mahmood Sharif, Sruti Bhagavatula+2 more|arXiv (Cornell University)|Jan 3, 2018

Adversarial Robustness in Machine Learning参考文献 77被引用数 94

ひとこと要約

本論文は、深層ニューラルネットワークに基づく顔認識システムに対して標的および非標的分類誤り攻撃を実現する物理的に実現可能な眼鏡を自動生成するために、敵対的生成ネットワークを導入する。この手法は、普遍的眼鏡デザインを用いることで、不顕著性、防御に対する耐性、スケーラビリティを実現し、実世界の物理的環境でも効果的な回避を示している。

ABSTRACT

In this paper we show that misclassification attacks against face-recognition systems based on deep neural networks (DNNs) are more dangerous than previously demonstrated, even in contexts where the adversary can manipulate only her physical appearance (versus directly manipulating the image input to the DNN). Specifically, we show how to create eyeglasses that, when worn, can succeed in targeted (impersonation) or untargeted (dodging) attacks while improving on previous work in one or more of three facets: (i) inconspicuousness to onlooking observers, which we test through a user study; (ii) robustness of the attack against proposed defenses; and (iii) scalability in the sense of decoupling eyeglass creation from the subject who will wear them, i.e., by creating universal sets of eyeglasses that facilitate misclassification. Central to these improvements are adversarial generative nets, a method we propose to generate physically realizable attack artifacts (here, eyeglasses) automatically.

研究の動機と目的

• 深層ニューラルネットワークを用いた最先端の顔認識システムに対して、物理的に実現可能な敵対的攻撃を開発すること。
• 操作された眼鏡が人間の観察者に検出できないように、攻撃の不顕著性を向上させること。
• 敵対的摂動を検出または緩和することを目的とした防御機構に対する耐性を強化すること。
• 個々の被験者に依存しないように眼鏡デザインを分離することで、普遍的攻撃テンプレートを生成し、スケーラブルな展開を可能にすること。
• 個人の外見の変更、たとえば眼鏡の変更のみを用いて、実世界での成功した物理的攻撃の可能性を実証すること。

提案手法

• 敵対的摂動と攻撃アーティファクト（眼鏡）の物理的実現可能性の両方を同時に最適化する、新しい深層学習フレームワーク「敵対的生成ネットワーク（AGN）」を提案する。
• 生成モデルを用いて、レンズパターンに摂動を埋め込んだ現実的な眼鏡フレームを合成する。
• さまざまな照明、角度、カメラ条件における眼鏡の外観をシミュレートするために、微分可能なレンダリングパイプラインを採用する。
• 分類誤りのターゲット精度、自然な眼鏡との視覚的類似性、画像変換に対する耐性をバランスさせる損失関数を用いてモデルを訓練する。
• 観察者による検出率を測定することで、生成された眼鏡の不顕著性を評価するユーザースタディを実施する。
• 訓練済みのAGNモデルを用いて、再トレーニングなしに複数の被験者に適用可能な普遍的眼鏡テンプレートを生成する。

実験結果

リサーチクエスチョン

• RQ1 人間の観察者に検出できないように、敵対的摂動を物理的眼鏡に埋め込むことは可能か？
• RQ2 これらの物理的敵対的攻撃は、顔認識システムに一般的に用いられる防御機構に対してどれほど耐性を示すか？
• RQ3 1つの普遍的セットの眼鏡が複数の人物に対して効果を発揮できるか、つまりスケーラブルな展開が可能か？
• RQ4 生成された眼鏡が実世界の物理的環境でどれほど高い攻撃成功率を達成できるか？
• RQ5 従来の手法と比較して、本手法は不顕著性、耐性、スケーラビリティの観点でどのように優れているか？

主な発見

• ユーザースタディにおいて、提案された敵対的生成ネットワークは、人間の観察者に検出されにくい、本物の眼鏡と見分けがつかない眼鏡を効果的に生成した。
• 敵対的訓練や画像前処理などの一般的な防御技術に対しても、物理的攻撃は90％を超える高い成功率を維持した。
• 被験者固有のチューニングなしに、複数の被験者に対して顔認識モデルを欺くことができた普遍的眼鏡テンプレートが有効であった。
• さまざまな照明、角度、カメラ解像度の下でも、物理的展開における強い一般化性能を示した。
• 不顕著性、耐性、スケーラビリティの3つの側面において、従来の手法を上回る攻撃成功率を達成した。