[논문 리뷰] APARATE: Adaptive Adversarial Patch for CNN-based Monocular Depth Estimation for Autonomous Navigation

Amira Guesmi, Muhammad Abdullah Hanif외 2명|arXiv (Cornell University)|2023. 03. 02.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 자율주행 시스템에서 단안 영상 기반 깊이 추정(MDE)을 선택적으로 손상시키는 새로운 적응형 적대적 패치인 APARATE를 제안한다. 이는 대상 물체를 완전히 사라지게 하거나 깊이 추정을 심각하게 왜곡시킨다. CNN 기반 MDE에서는 대상 영역의 99%에서 평균 깊이 오차가 0.5를 초과하며, Transformer 기반 모델에서는 94%에서 0.34를 기록한다. 이는 입력 변환 방어 기법에 대해서도 강건성을 확보하고 있다.

ABSTRACT

In recent times, monocular depth estimation (MDE) has experienced significant advancements in performance, largely attributed to the integration of innovative architectures, i.e., convolutional neural networks (CNNs) and Transformers. Nevertheless, the susceptibility of these models to adversarial attacks has emerged as a noteworthy concern, especially in domains where safety and security are paramount. This concern holds particular weight for MDE due to its critical role in applications like autonomous driving and robotic navigation, where accurate scene understanding is pivotal. To assess the vulnerability of CNN-based depth prediction methods, recent work tries to design adversarial patches against MDE. However, the existing approaches fall short of inducing a comprehensive and substantially disruptive impact on the vision system. Instead, their influence is partial and confined to specific local areas. These methods lead to erroneous depth predictions only within the overlapping region with the input image, without considering the characteristics of the target object, such as its size, shape, and position. In this paper, we introduce a novel adversarial patch named APARATE. This patch possesses the ability to selectively undermine MDE in two distinct ways: by distorting the estimated distances or by creating the illusion of an object disappearing from the perspective of the autonomous system. Notably, APARATE is designed to be sensitive to the shape and scale of the target object, and its influence extends beyond immediate proximity. APARATE, results in a mean depth estimation error surpassing $0.5$, significantly impacting as much as $99\%$ of the targeted region when applied to CNN-based MDE models. Furthermore, it yields a significant error of $0.34$ and exerts substantial influence over $94\%$ of the target region in the context of Transformer-based MDE.

연구 동기 및 목표

• 자율 주행 환경에서 CNN 및 Transformer 기반 단안 영상 기반 깊이 추정(MDE) 모델이 겪는 물리적 적대적 공격에 대한 심각한 취약성을 해결하기 위해.
• 패치가 오직 겹치는 영역에만 영향을 주는 것이 아니라, 대상 물체를 완전히 가림하거나 전체 물체 영역에서 깊이 인식을 왜곡시키는 적대적 패치를 개발하기 위해.
• 객체의 크기, 형태, 카메라로부터의 거리에 적응할 수 있도록 설계하여 다양한 객체 유형과 위치에 일반화 가능하도록 하기 위해.
• JPEG 압축, 중간 필터 블러, 가우시안 노이즈와 같은 일반적인 방어 기법에 대해서도 효과를 유지할 수 있도록 설계하기 위해.
• 최소한의 시각적 왜곡으로도 실제 자율주행 시스템에서의 공격 가능성을 입증하기 위해.

제안 방법

• 패널티가 부여된 손실 함수를 도입하여, 적대적 패치의 효과를 높이고 패치-입력 겹침 영역을 초월한 영향을 확대한다.
• 자동화된 패치 배치 기법을 활용하여 패치를 대상 객체의 형태와 크기에 맞추어 정렬함으로써, 무작위 또는 무관한 위치에 배치되는 것을 방지한다.
• 전체 대상 객체 영역에서 깊이 추정 오차를 최대화하도록 패치를 종합 최적화하여 완전한 가림 또는 왜곡을 보장한다.
• 최적화 과정에서 이미지 압축, 블러링, 노이즈를 시뮬레이션하여 물리 세계의 변환에 강건한 프레임워크를 훈련시킨다.
• CNN 기반 및 비전 트랜스포머 기반 MDE 모델에 모두 공격을 적용하여 다양한 아키텍처 간의 일반화 능력을 입증한다.
• 공개된 도로 데이터셋을 대상으로 평가하여 차량과 보행자를 대표적인 대상 객체로 삼는다.

실험 결과

연구 질문

• RQ1 단안 영상 기반 깊이 추정에서, 패치가 겹치는 영역에만 영향을 주는 것이 아니라, 물체를 완전히 가리킬 수 있도록 설계할 수 있는가?
• RQ2 객체의 크기, 형태, 카메라로부터의 거리에 관계없이, 패치가 전체 대상 영역에서 높은 깊이 추정 오차를 유도하는 데 얼마나 효과적인가?
• RQ3 JPEG 압축, 중간 필터 블러, 가우시안 노이즈와 같은 일반적인 입력 수준의 방어 기법을 적용받을 경우, 패치의 효과는 어느 정도 유지되는가?
• RQ4 재학습 없이도 다양한 객체 유형(예: 차량, 보행자) 간에 일반화 가능한가?
• RQ5 물리 세계의 변환을 겪을 경우 패치의 성능이 크게 떨어지는가, 아니면 이러한 방어 기법에 강건한가?

주요 결과

• APARATE는 CNN 기반 MDE 모델에서 대상 영역의 99%에서 평균 깊이 추정 오차가 0.5를 초과하여 깊이 예측이 거의 완전히 무너지는 것을 나타낸다.
• Transformer 기반 MDE에서는 평균 깊이 오차가 0.34로, 약 94%의 대상 영역에 영향을 미쳐 다양한 아키텍처 간 강력한 일반화 능력을 입증한다.
• JPEG 압축(품질 30), 중간 필터 블러(반지름 20), 가우시안 노이즈(σ=0.1)와 같은 방어 기법을 적용하더라도 평균 오차가 0.2를 유지하여 입력 변환에 대한 강건성을 보여준다.
• 중간 필터 블러 방어 기법은 기준 MDE 성능을 심각하게 떨어뜨리지만, APARATE는 여전히 평균 오차 0.13를 기록하여 방어 기법이 모델 성능을 떨어뜨려도 공격 효과가 지속됨을 시사한다.
• 객체의 크기, 형태, 카메라로부터의 거리가 다양하더라도 패치는 효과적으로 작동하여 적응성과 일반화 능력을 입증한다.
• 물리 세계의 변환에 대해 강건하며, 일반적인 방어 기법에 대해 성능 저하가 최소화되어 있어 이러한 적대적 패치의 실제 세계 위협성을 강조한다.