[論文レビュー] APARATE: Adaptive Adversarial Patch for CNN-based Monocular Depth Estimation for Autonomous Navigation

Amira Guesmi, Muhammad Abdullah Hanif+2 more|arXiv (Cornell University)|Mar 2, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、自律走行システムにおける単眼深度推定（MDE）を的確に破壊する、新たな自己適応的敵対的パッチAPARATEを提案する。このパッチは、物体の完全な消失または深刻な深度歪みを引き起こすことで、CNNベースのMDEでは99％の対象領域で平均深度誤差が0.5を超えるのを達成し、Transformerベースのモデルでは94％の領域で0.34の誤差を生じさせ、入力変換防御に対しても頑健性を示す。

ABSTRACT

In recent times, monocular depth estimation (MDE) has experienced significant advancements in performance, largely attributed to the integration of innovative architectures, i.e., convolutional neural networks (CNNs) and Transformers. Nevertheless, the susceptibility of these models to adversarial attacks has emerged as a noteworthy concern, especially in domains where safety and security are paramount. This concern holds particular weight for MDE due to its critical role in applications like autonomous driving and robotic navigation, where accurate scene understanding is pivotal. To assess the vulnerability of CNN-based depth prediction methods, recent work tries to design adversarial patches against MDE. However, the existing approaches fall short of inducing a comprehensive and substantially disruptive impact on the vision system. Instead, their influence is partial and confined to specific local areas. These methods lead to erroneous depth predictions only within the overlapping region with the input image, without considering the characteristics of the target object, such as its size, shape, and position. In this paper, we introduce a novel adversarial patch named APARATE. This patch possesses the ability to selectively undermine MDE in two distinct ways: by distorting the estimated distances or by creating the illusion of an object disappearing from the perspective of the autonomous system. Notably, APARATE is designed to be sensitive to the shape and scale of the target object, and its influence extends beyond immediate proximity. APARATE, results in a mean depth estimation error surpassing $0.5$, significantly impacting as much as $99\%$ of the targeted region when applied to CNN-based MDE models. Furthermore, it yields a significant error of $0.34$ and exerts substantial influence over $94\%$ of the target region in the context of Transformer-based MDE.

研究の動機と目的

• 自律走行におけるCNNおよびTransformerベースの単眼深度推定（MDE）モデルが物理的敵対的攻撃に対して示す深刻な脆弱性に対処すること。
• パッチが対象物体を完全に隠蔽する、またはパッチと重複する領域にとどまらず、物体全体の領域で深度認識を歪めることを可能にする敵対的パッチの開発。
• 物体のサイズ、形状、カメラからの距離に適応できるようにパッチを設計し、異なる物体クラスや位置に一般化可能であることを保証すること。
• JPEG圧縮、中央値ブラー、ガウスノイズなどの一般的な防御手法に対しても有効であるパッチの設計。
• 最小限の視覚的摂動で高い誤差率を達成することで、実世界の自律走行システムにおける敵対的パッチの実用的脅威を実証すること。

提案手法

• パッチと入力の重複領域を超えて影響を広げるために、敵対的パッチの効果を高めるペナルティ付き損失関数を導入する。
• パッチを対象物体の形状とスケールに合わせて配置する自動化されたパッチ配置機構を採用し、ランダムまたは無関係な配置を回避する。
• パッチをエンドツーエンド最適化し、対象物体全体で深度推定誤差を最大化することで、完全な遮蔽または歪みを実現する。
• 最適化中にこれらの変換をシミュレートすることで、画像圧縮、ぼかし、ノイズなどの物理的変換に対して頑健であるように訓練する。
• CNNベースおよびビジョンTransformerベースのMDEモデルに攻撃を適用し、異なるアーキテクチャ間での一般化を示す。
• パブリックな道路データセットを用いて評価し、代表的な対象物体として車両と歩行者を対象とする。

実験結果

リサーチクエスチョン

• RQ1 単眼深度推定において、パッチが重複領域にとどまらず、物体全体を完全に隠蔽できるように設計できるか？
• RQ2 物体のサイズ、形状、カメラからの距離にかかわらず、パッチが対象物体全体で高い深度推定誤差を引き起こす効果はどの程度か？
• RQ3 JPEG圧縮（品質30）、中央値ブラー（半径20）、ガウスノイズ（σ=0.1）などの一般的な入力レベル防御技術を受けても、パッチの効果はどの程度維持されるか？
• RQ4 再トレーニングなしで、さまざまな物体カテゴリ（例：車両、歩行者）に一般化可能か？
• RQ5 物理的変換に対してパッチの性能が著しく低下するか、それともこうした防御に対して頑健であるか？

主な発見

• APARATEは、CNNベースのMDEモデルにおいて、99％の対象領域で平均深度誤差が0.5を超えることを達成し、深度予測のほぼ完全な破壊を示している。
• TransformerベースのMDEでは、平均深度誤差が0.34に達し、約94％の対象領域に影響を与えることから、アーキテクチャ間での強力な一般化能力が示された。
• JPEG圧縮（品質30）、中央値ブラー（半径20）、ガウスノイズ（σ=0.1）といった防御機構下でも、平均誤差が0.2を維持するなど、入力変換に対して耐性があることが確認された。
• 中央値ブラー防御はベースラインMDE性能を著しく低下させるが、APARATEは依然として平均誤差0.13を達成しており、防御がモデル性能を低下させても依然として有効であることが示された。
• 物体のサイズ、形状、カメラからの距離が変化してもパッチは効果を維持しており、その適応性と一般化能力が実証された。
• 物理的変換に対してパッチは頑健であり、一般的な防御技術に対しても性能低下が最小限に抑えられ、こうした敵対的パッチの実世界における脅威が顕著に示された。