[論文レビュー] APRICOT: A Dataset of Physical Adversarial Attacks on Object Detection

A. Braunegg, Amartya Chakraborty+7 more|arXiv (Cornell University)|Dec 17, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用数 7

ひとこと要約

APRICOT は、照明、角度、距離の変動がある条件下で、自然環境に配置された実際の印刷済み敵対的パッチを1,000枚以上収録した公開データセットである。本研究では、物理的敵対的パッチが白ボックスおよびブラックボックス設定においても誤検出を効果的に引き起こせることを示し、ベイジアン不確実性や再構築誤差といった非教師あり手法を用いた効果的な検出ベースラインを確立した。

ABSTRACT

Physical adversarial attacks threaten to fool object detection systems, but reproducible research on the real-world effectiveness of physical patches and how to defend against them requires a publicly available benchmark dataset. We present APRICOT, a collection of over 1,000 annotated photographs of printed adversarial patches in public locations. The patches target several object categories for three COCO-trained detection models, and the photos represent natural variation in position, distance, lighting conditions, and viewing angle. Our analysis suggests that maintaining adversarial robustness in uncontrolled settings is highly challenging, but it is still possible to produce targeted detections under white-box and sometimes black-box settings. We establish baselines for defending against adversarial patches through several methods, including a detector supervised with synthetic data and unsupervised methods such as kernel density estimation, Bayesian uncertainty, and reconstruction error. Our results suggest that adversarial patches can be effectively flagged, both in a high-knowledge, attack-specific scenario, and in an unsupervised setting where patches are detected as anomalies in natural images. This dataset and the described experiments provide a benchmark for future research on the effectiveness of and defenses against physical adversarial objects in the wild.

研究の動機と目的

• 物理的敵対的攻撃に対するオブジェクト検出システムのための、公開可能で現実世界のベンチマークデータセットが不足しているという問題に対処すること。
• 照明、角度、距離の変動といった制御不能な環境条件下で、物理的敵対的パッチの耐性および転送性を評価すること。
• 攻撃パターンの事前知識がなくても、実世界の画像における敵対的パッチの検出ベースラインを確立すること。
• カーネル密度推定、ベイジアン不確実性、オートエンコーダー再構築誤差といった非教師あり異常検出技術が、自然なシーンにおける敵対的パッチの同定にどの程度有効であるかを調査すること。
• 自律走行車両などの安全に重要な応用分野における物理的敵対的攻撃への防御に関する今後の研究の再現可能性のあるベンチマークを提供すること。

提案手法

• 20名のボランティア写真家を用いて、公共の場所に配置された実際の印刷済み敵対的パッチの1,000枚以上の実世界画像を収集し、多様な環境的条件を反映させた。
• 実世界の歪み（回転、スケーリング、照明変化など）に強い敵対的パッチを生成するために、変換の期待値を用いる手法（Expectation over Transformation）を採用した。
• Faster R-CNN、SSD、RetinaNet の3つの COCO で訓練されたオブジェクト検出モデルを対象とし、10種類の COCO オブジェクトカテゴリに対して誤検出を引き起こすようにパッチを設計した。
• 非教師あり異常検出手法として、カーネル密度推定（KDE）、ベイジアン不確実性推定、オートエンコーダーに基づく再構築誤差を用い、画像ウィンドウ内で敵対的領域を特定した。
• 合成的に挿入された敵対的パッチを用いて教師あり検出器を訓練し、非教師あり手法と性能を比較した。
• COCO 2017 の学習データで事前学習されたオートエンコーダー（ACAI）を用い、32×32 の画像ウィンドウ内で潜在表現を抽出し、再構築誤差を計算して異常検出に用いた。

実験結果

リサーチクエスチョン

• RQ1 視認角度、距離、照明の変動といった現実世界の変動下でも、物理的敵対的パッチはどの程度その敵対性を維持できるか？
• RQ2 攻撃パターンの事前知識なしに、非教師あり異常検出手法が自然画像内の敵対的パッチを効果的に特定できるか？
• RQ3 実世界のシーンにおける敵対的パッチ検出において、教師ありと非教師ありの防御手法はどのように比較されるか？
• RQ4 モデルの不確実性と再構築誤差は、画像内での敵対的領域の同定にどの程度寄与するか？
• RQ5 パッチのサイズ、形状、方向などの要因が、現実世界における物理的敵対的攻撃の成功率にどのように影響を与えるか？

主な発見

• 物理的敵対的パッチは、実世界の歪みが著しい状況下でも、白ボックスおよび一部のブラックボックス設定においても誤検出を効果的に引き起こすことが確認された。
• ベイジアン不確実性や再構築誤差といった非教師あり手法は、敵対的パッチの検出において優れた性能を示し、特に再構築誤差は異常な画像ウィンドウの局所化に顕著な有効性を示した。
• KDEに基づく手法は、クラス固有のしきい値を設定するためのデータが不足しているため、予測性能が限定的であったが、不確実性に基づく検出は、特に意思決定境界付近のパッチに対してより頑健であった。
• 合成的に挿入されたパッチを用いた教師あり検出は高い正確性を達成したが、新たな攻撃パターンへの一般化能力に欠ける可能性があった。
• オートエンコーダーに基づく再構築手法は、敵対的パッチの検出に効果的に機能したが、高周波数のテクスチャ（例：木々の葉）は誤検出を引き起こしたため、この手法が符号化時の情報損失を捉えているが、潜在表現の質を直接評価しているわけではないことが示唆された。
• 不確実性と再構築誤差といった複数の検出信号を組み合わせても、不確実性単体での性能に比べてわずかな改善にとどまり、不確実性が敵対的コンテンツを示す強力な独立した指標であることが示された。