[論文レビュー] CARLA-GeAR: a Dataset Generator for a Systematic Evaluation of Adversarial Robustness of Vision Models

Federico Nesti, Giulio Rossolini+3 more|arXiv (Cornell University)|Jun 9, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

CARLA-GeAR は、自律走行ドライビングシナリオにおけるビジョンモデルの敵対的ロバストネスを評価するためのフォトリアリスティックな合成データセットを生成する、CARLA シミュレータ上に構築されたデータセットジェネレータである。物理的敵対的パッチの体系的ベンチマーク評価を可能にする。画像セグメンテーション、オブジェクト検出、深度推定のための自動生成データセットを提供し、実験的妥当性の確認により、攻撃下での顕著な性能低下と防御手法の有効性のばらつきが示された。

ABSTRACT

Adversarial examples represent a serious threat for deep neural networks in several application domains and a huge amount of work has been produced to investigate them and mitigate their effects. Nevertheless, no much work has been devoted to the generation of datasets specifically designed to evaluate the adversarial robustness of neural models. This paper presents CARLA-GeAR, a tool for the automatic generation of photo-realistic synthetic datasets that can be used for a systematic evaluation of the adversarial robustness of neural models against physical adversarial patches, as well as for comparing the performance of different adversarial defense/detection methods. The tool is built on the CARLA simulator, using its Python API, and allows the generation of datasets for several vision tasks in the context of autonomous driving. The adversarial patches included in the generated datasets are attached to billboards or the back of a truck and are crafted by using state-of-the-art white-box attack strategies to maximize the prediction error of the model under test. Finally, the paper presents an experimental study to evaluate the performance of some defense methods against such attacks, showing how the datasets generated with CARLA-GeAR might be used in future work as a benchmark for adversarial defense in the real world. All the code and datasets used in this paper are available at http://carlagear.retis.santannapisa.it.

研究の動機と目的

• 現実世界の自律走行シナリオにおけるビジョンモデルの敵対的ロバストネスを評価するための標準化されたベンチマークの不足に対処すること。
• 現実世界の物理的敵対的攻撃における実務的・安全上の制限を克服し、完全に制御可能でフォトリアリスティックなシミュレーションベースの評価を可能にすること。
• 現実の物理的攻撃条件下で、異なる敵対的防御および検出手法の性能を体系的に比較すること。
• 看板やトラックなど現実の物体に敵対的パッチを付加したデータセットを再利用可能でオープンソースのツールとして提供すること。
• 標準化され、再現可能な評価に基づく、敵対的ロバストネスおよび防御手法の今後のベンチマークの基盤を構築すること。

提案手法

• 都市部走行シナリオのための高解像度でフォトリアリスティックな RGB 画像と正解ラベルを生成するために、CARLA シミュレータの Python API を活用する。
• 最新のホワイトボックス攻撃戦略を用いて、看板やトラックの後部などの表面に敵対的パッチを自動的に付加し、モデルの予測誤差を最大化する。
• 画像セグメンテーション、2D および 3D ステレオオブジェクト検出、単眼深度推定の4つのビジョンタスクをサポートし、カメラおよびシーンメタデータを同期させる。
• パッチを、パッチなしの事前収集データセット上で最適化し、物理的制約下での誤分類を最大化するように調整された損失関数を用いて生成する。
• モデルのロバストネスおよび防御機構の体系的評価を可能にするために、異なる攻撃シナリオおよび物体配置における複数のデータセットを収集する。
• 事前に計算済みのデータセット（パッチ付）を提供し、要求に応じてカスタム生成をサポートすることで、計算負荷を低減する。

実験結果

リサーチクエスチョン

• RQ1 最新の防御手法（例：Z-Mask、LGS）は、自律走行シナリオにおけるビジョンモデルに対する物理的敵対的攻撃をどれほど効果的に軽減できるか？
• RQ2 CARLA で生成されたデータと現実世界の学習データ（例：COCO、CityScapes）との間の分布シフトは、生成された敵対的データセットにおけるモデル性能にどの程度影響を与えるか？
• RQ3 看板やトラックにパッチを付加したようなフォトリアリスティックなシミュレート環境（例：CARLA）は、多様な攻撃設定において、敵対的ロバストネスの信頼性ある体系的評価を可能にするか？
• RQ4 同じ敵対的パッチが、画像セグメンテーションと深度推定の異なるビジョンタスクにおいて、性能低下にどのように影響を与えるか？
• RQ5 大規模で現実的である敵対的データセットを生成する際の、計算的および実用的課題は何か？

主な発見

• 敵対的パッチの使用により、すべてのタスクでモデル性能が顕著に低下し、最悪ケースでは平均して -25.48% から -45.41% の性能低下が観察された。
• Z-Mask や LGS といった防御手法の効果は混合的であった：Z-Mask は一部のケース（例：Stereo R-CNN における Billboard04 で +8.84%）で性能を向上させたが、他のケース（例：DDRNet における Billboard06 で -33.17%）では悪化させた。
• LGS 防御は Billboard07（相対的向上 13.35%）および Billboard08（15.84% の向上）で性能を向上させ、タスクおよびシナリオ依存の有効性を示した。
• CARLA で生成されたデータセットにおけるモデル性能は、現実世界の学習データ（例：COCO、CityScapes）における性能よりも顕著に劣っており、合成データの特性に起因する大きな分布シフトが確認された。
• このツールは、敵対的ロバストネスの一貫性があり再現可能な評価を可能にし、データセットはダウンロード可能で、要請に応じたカスタム生成も可能である。
• 本研究は、CARLA-GeAR が今後のベンチマークの基盤として機能できることを示したが、標準化された指標および評価プラットフォームの開発は今後の課題である。