[論文レビュー] Adversarial Attacks in a Multi-view Setting: An Empirical Study of the Adversarial Patches Inter-view Transferability

Bilel Tarchoun, Ihsen Alouani+2 more|arXiv (Cornell University)|Oct 10, 2021

Adversarial Robustness in Machine Learning参考文献 20被引用数 7

ひとこと要約

本論文は、既存のパッチに透視幾何変換を適用することで、マルチビュー物体検出における視点角度にわたる adversarial パッチの転送性を研究する手法を提案する。視点角度がパッチの有効性を著しく低下させること（場合によっては90％以上）を示しており、攻撃および防御設計において視点変動を組み込む必要性を強調している。

ABSTRACT

While machine learning applications are getting mainstream owing to a demonstrated efficiency in solving complex problems, they suffer from inherent vulnerability to adversarial attacks. Adversarial attacks consist of additive noise to an input which can fool a detector. Recently, successful real-world printable adversarial patches were proven efficient against state-of-the-art neural networks. In the transition from digital noise based attacks to real-world physical attacks, the myriad of factors affecting object detection will also affect adversarial patches. Among these factors, view angle is one of the most influential, yet under-explored. In this paper, we study the effect of view angle on the effectiveness of an adversarial patch. To this aim, we propose the first approach that considers a multi-view context by combining existing adversarial patches with a perspective geometric transformation in order to simulate the effect of view angle changes. Our approach has been evaluated on two datasets: the first dataset which contains most real world constraints of a multi-view context, and the second dataset which empirically isolates the effect of view angle. The experiments show that view angle significantly affects the performance of adversarial patches, where in some cases the patch loses most of its effectiveness. We believe that these results motivate taking into account the effect of view angles in future adversarial attacks, and open up new opportunities for adversarial defenses.

研究の動機と目的

• マルチビュー物体検出システムにおける視点角度が adversarial パッチの転送性および有効性に与える影響を調査すること。
• 通常の研究では各ビューごとにパッチを別々に評価するが、現実のマルチビュー動的要因を考慮しないというギャップを埋めること。
• 事前に学習済みの adversarial パッチに透視幾何変換を適用して視点角度効果をシミュレートする手法を開発・検証すること。
• 視点角度を主な変数として隔離する新しい制御されたデータセット（LATIS-MVAPE）を導入すること。
• adversarial パッチが最適でない角度から見られる場合に顕著な有効性の低下を示す実証的証拠を提供し、今後の耐性向上および防御戦略に寄与すること。

提案手法

• 著者らは、既存の adversarial パッチに透視幾何変換を適用することで、視点角度の変化をシミュレートし、異なるビューでのパッチ性能の評価を可能にした。
• パッチの生成手法を[8]から借用し、歩行者のオブジェクトネススコアを最小化するようにパッチを訓練した。対象は印刷可能で、クラス内変動が大きいものに焦点を当てた。
• 損失関数には非印刷性スコア（$L_{nps}$）、全変動損失（$L_{tv}$）、オブジェクトネス損失（$L_{obj}$）を組み合わせ、Adamを用いて経験的に調整された重みで最適化した。
• 2つのデータセットを用いた：Wildtrack（環境変動を伴う実世界のマルチビュー）とLATIS-MVAPE（252枚の画像を7つの角度と2つの距離で構成し、視点角度の影響を隔離した制御されたデータセット）。
• 各ビューに対して、幾何変換後にパッチを適用し、YOLOベースの歩行者検出器を用いて検出再現率を測定することで、攻撃の成功度を評価した。
• 基準ビューをベースラインとして用い、クリーン入力とパッチ付き入力の間の再現率低下割合をパcent（％）で定量化した。

実験結果

リサーチクエスチョン

• RQ1 視点角度を変化させた場合、マルチビュー物体検出における adversarial パッチの転送性および有効性にどのような影響を与えるか？
• RQ2 訓練時に使用したビューとは異なる視点角度にパッチを適用した場合、そのパッチの性能はどの程度低下するか？
• RQ3 視点角度の影響をパッチ性能に隔離するための制御されたデータセットを構築可能か？
• RQ4 複数のビュー（前方以外の角度も含む）でパッチを訓練することで、視点変化に対する耐性が向上するか？
• RQ5 視点角度の影響は、今後の adversarial 攻撃およびマルチビュー防御の設計にどのような示唆をもたらすか？

主な発見

• Wildtrackデータセットでは、基準ビュー（ビュー1）から他の角度にパッチを転送した場合、パッチの有効性が最大で94.01％低下した。特にビュー7では再現率が94.01％低下した。
• LATIS-MVAPEデータセットでは、基準ビュー（$5^\text{th}$角度）でのみ訓練されたパッチは、$90^\text{th}$角度では再現率が38.89％にとどまり、極端な視点角度下でも顕著な性能低下を示した。
• 基準ビューと$60^\text{th}$角度の両方で訓練したパッチは、$90^\text{th}$角度での再現率が27.78％に向上した。これは、マルチビュー訓練が視点角度による低下を緩和するが、完全に解消しないことを示している。
• LATIS-MVAPEで最も好条件な状況下でも、$120^\text{th}$角度での再現率は最大で96.43％にとどまり、視点角度がパッチの耐性を制限する主要要因であることが確認された。
• 研究結果から、視点角度は adversarial パッチの失敗において主要因であることが判明し、いくつかの事例で80％を超える性能低下が観察された。特に斜めの角度では顕著であった。
• 結果から、複数のカメラからの情報を統合するマルチビュー検出器は、攻撃者がすべてのビューを同時にねじまげることを要求するため、効果的な防御手段となり得ると示唆された。