[論文レビュー] Houdini: Fooling Deep Structured Prediction Models

Moustapha Cissé, Yossi Adi+2 more|arXiv (Cornell University)|Jul 17, 2017

Adversarial Robustness in Machine Learning参考文献 33被引用数 165

ひとこと要約

本論文は Houdini loss と深層構造予測を混乱させる対抗的攻撃を提案し、特にポーズ推定を崩し、関節の位置ずれや体の部位の混合を引き起こす一方で、視覚的には説得力を保つことがあり、評価指標の失敗につながる。

ABSTRACT

Generating adversarial examples is a critical step for evaluating and improving the robustness of learning machines. So far, most existing methods only work for classification and are not designed to alter the true performance measure of the problem at hand. We introduce a novel flexible approach named Houdini for generating adversarial examples specifically tailored for the final performance measure of the task considered, be it combinatorial and non-decomposable. We successfully apply Houdini to a range of applications such as speech recognition, pose estimation and semantic segmentation. In all cases, the attacks based on Houdini achieve higher success rate than those based on the traditional surrogates used to train the models while using a less perceptible adversarial perturbation.

研究の動機と目的

• 深層構造予測およびポーズ推定モデルの頑健性の研究を動機づける。
• Houdini loss が構造出力を崩す adversarial perturbations を可能にすることを示す。
• このような摂動が評価指標とモデルの挙動に与える影響を分析する。
• 関節のずれ、部位の混合、左右混乱といった失敗のタイプを強調する。

提案手法

• Houdini loss を利用して構造出力を摂動させる対抗的攻撃を提案し適用する。
• 関節位置のずれや体の部位の混合を含むポーズ推定の混乱を誘発する。
• 視覚的に説得力があるように見えるが指標を崩す敵対例を生成する。
• 図1などの視覚的デモンストレーションを用いて崩れたポーズを示す。

Figure 1: Additional examples of disrupted pose estimation due to an adversarial attack exploiting Houdini loss. Typical induced effects: shift in all joint positions, mixing parts from several people, confusing right and left joints (in the second example the person appears to be facing the opposit

実験結果

リサーチクエスチョン

• RQ1 Houdini loss は深層構造予測モデルにどのような脆弱性を導入するか？
• RQ2 対抗摂動はポーズ推定の出力と関連指標にどのような影響を与えるか？
• RQ3 誤った予測にもかかわらず、生成された対抗ポーズはどの程度説得力があるように見えるか？
• RQ4 Houdini ベースの攻撃によって引き起こされる誤りのタイプ（例：関節のずれ、部位の混合、左右混乱）を特徴づけることはできるか？

主な発見

• Houdini loss を利用した対抗攻撃はポーズ推定を撹乱する。
• 摂動は関節位置のずれと体の部位の混合を引き起こす。
• 攻撃は左右の関節を混同させ、しばしば見かけの向きを反転させる。
• 変化したポーズが視覚的には説得力があるにもかかわらず、指標が失敗する。
• 図1 は Houdini ベースの攻撃によって崩れたポーズの追加例を示す。