[論文レビュー] Transferable, Controllable, and Inconspicuous Adversarial Attacks on Person Re-identification With Deep Mis-Ranking

Hongjun Wang, Guangrun Wang+3 more|arXiv (Cornell University)|Apr 8, 2020

Adversarial Robustness in Machine Learning参考文献 41被引用数 4

ひとこと要約

本稿は、深層誤ランク付け定式化を用いて、転送可能で制御可能かつ目立たない adversarial 攻撃フレームワークを、人物再識別（ReID）システム向けに提案する。多段階の特徴ピラミッドネットワークを活用した転送可能な表現学習と、微分可能で複数ショットのサンプリングを用いたピクセル制御により、Market1501 における ReID の精度が 91.8% から 1.4% に低下し、最先端モデルにおける深刻な脆弱性を示している。

ABSTRACT

The success of DNNs has driven the extensive applications of person re-identification (ReID) into a new era. However, whether ReID inherits the vulnerability of DNNs remains unexplored. To examine the robustness of ReID systems is rather important because the insecurity of ReID systems may cause severe losses, e.g., the criminals may use the adversarial perturbations to cheat the CCTV systems. In this work, we examine the insecurity of current best-performing ReID models by proposing a learning-to-mis-rank formulation to perturb the ranking of the system output. As the cross-dataset transferability is crucial in the ReID domain, we also perform a back-box attack by developing a novel multi-stage network architecture that pyramids the features of different levels to extract general and transferable features for the adversarial perturbations. Our method can control the number of malicious pixels by using differentiable multi-shot sampling. To guarantee the inconspicuousness of the attack, we also propose a new perception loss to achieve better visual quality. Extensive experiments on four of the largest ReID benchmarks (i.e., Market1501 [45], CUHK03 [18], DukeMTMC [33], and MSMT17 [40]) not only show the effectiveness of our method, but also provides directions of the future improvement in the robustness of ReID systems. For example, the accuracy of one of the best-performing ReID systems drops sharply from 91.8% to 1.4% after being attacked by our method. Some attack results are shown in Fig. 1. The code is available at https://github.com/whj363636/Adversarial-attack-on-Person-ReID-With-Deep-Mis-Ranking.

研究の動機と目的

• 最先端の ReID モデルが adversarial 攻撃に対してどれほど脆弱であるかを、実世界の監視環境において調査すること。
• 分類タスク向けに設計された従来の手法とは異なり、ランク付けベースの ReID システムに特化した効果的な adversarial 攻撃手法の不足を解消すること。
• モデルへのアクセスが不可なブラックボックス環境でも、未観測のデータセットにまで効果的に適用可能な強力なクロスデータセット転送性を持つ攻撃を開発すること。
• 攻撃の可視性と影響を制御するため、摂動を加えたピクセル数を制御するとともに、新規の損失関数により知覚的品質を向上させることで、視覚的に目立たない攻撃を実現すること。
• adversarial 訓練や脆弱な身体部位への注目を通じて、ReID の耐性を高めるための実用的知見を提供すること。

提案手法

• ReID モデルのランク出力を直接標的にする学習による誤ランク付け定式化を提案し、誤ランク付け損失を用いてモデルの正しく一致する順位を高くする能力を低下させる。
• 複数のレベルの特徴をピラミッド結合する多段階ネットワークアーキテクチャを導入し、攻撃のための汎用的で転送可能な表現を抽出する。
• 微分可能で複数ショットのサンプリングを用いて、攻撃に影響を与えるピクセル数を制御し、攻撃の可視性と影響を細かく制御可能にする。
• 知覚的品質を保ち、人間の観察者にとって目立たない adversarial の摂動を実現するために、知覚に基づく損失関数を設計する。
• 誤ランク付け損失、知覚損失、adversarial 一貫性を組み合わせた損失関数を用いて、エンドツーエンドで攻撃者を訓練し、視覚的忠実度を最適化するハイパーパramータを調整する。

実験結果

リサーチクエスチョン

• RQ1 分類の誤りではなく、ギャラリー画像のランク付けを操作することで、最先端の ReID モデルの性能を効果的に低下させることができるか？
• RQ2 特に、ターゲットモデルのアクセスが不可なブラックボックス環境において、異なる ReID データセット間で攻撃の転送性をどのように実現できるか？
• RQ3 高い攻撃成功率を維持しつつ、視覚的歪みを低く保ちながら、摂動を加えたピクセル数をどの程度制御できるか？
• RQ4 攻撃が依然として ReID システムに深刻な障害を引き起こす一方で、視覚的に目立たないままでいられるか？
• RQ5 この攻撃は、商業的な ReID や属性認識 API といった実世界の AI サービスにも一般化可能か？

主な発見

• 提案された攻撃により、最先端モデル（AlignedReID）の Market1501 における ReID 精度が 91.8% から 1.4% に低下し、極めて深刻な脆弱性を示した。
• 強力なクロスデータセット転送性を達成し、Market1501、CUHK03、DukeMTMC、MSMT17 の4つの主要ベンチマークで性能を著しく低下させた。
• 微分可能で複数ショットのサンプリング機構により、摂動を加えたピクセル数を正確に制御でき、低攻撃強度でも視覚的品質が保たれた。
• 知覚損失により、adversarial 例の視覚的品質が顕著に向上し、人間観察者にとって検出されにくくなった。
• 実世界の商業 API（Baidu の Human Detection and Attributes API）を効果的に欺き、バックパックを背負った人物を「持ち運んでいない」と誤分類させた。
• 本手法は ReID を超えて一般化し、CIFAR10 における画像分類モデルに対しても攻撃効果を示し、多数の最先端のホワイトボックス攻撃を上回った。