[논문 리뷰] Monocular Depth Estimators: Vulnerabilities and Attacks

Alwyn Mathew, Aditya Prakash Patra외 1명|arXiv (Cornell University)|2020. 05. 28.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 7

한 줄 요약

이 논문은 단안 심도 추정기에서 적대적 공격을 생성하기 위해 새로운 딥 페처 암시화(DFA) 손실을 제안하며, 미세한, 인지하기 어려운 변형 또는 작은 패치를 사용하여 성능을 크게 악화시킵니다. 공격은 최종 출력 뿐 아니라 내부 특징 표현을 대상으로 하여 화이트박스 및_BLK박스 환경에서 높은 성공률를 보이며, 모델 간 및 데이터 간 이식 가능성까지 확보합니다.

ABSTRACT

Recent advancements of neural networks lead to reliable monocular depth estimation. Monocular depth estimated techniques have the upper hand over traditional depth estimation techniques as it only needs one image during inference. Depth estimation is one of the essential tasks in robotics, and monocular depth estimation has a wide variety of safety-critical applications like in self-driving cars and surgical devices. Thus, the robustness of such techniques is very crucial. It has been shown in recent works that these deep neural networks are highly vulnerable to adversarial samples for tasks like classification, detection and segmentation. These adversarial samples can completely ruin the output of the system, making their credibility in real-time deployment questionable. In this paper, we investigate the robustness of the most state-of-the-art monocular depth estimation networks against adversarial attacks. Our experiments show that tiny perturbations on an image that are invisible to the naked eye (perturbation attack) and corruption less than about 1% of an image (patch attack) can affect the depth estimation drastically. We introduce a novel deep feature annihilation loss that corrupts the hidden feature space representation forcing the decoder of the network to output poor depth maps. The white-box and black-box test compliments the effectiveness of the proposed attack. We also perform adversarial example transferability tests, mainly cross-data transferability.

연구 동기 및 목표

• 최신 기술의 단안 심도 추정기들이 적대적 공격에 얼마나 취약한지 조사하기.
• 특히 안전이 중요한 응용 분야에서의 심도 추정에 대한 적대적 공격 연구가 부족한 점을 보완하기.
• 심도 예측 성능을 최대한 악화시키기 위해 내부 특징 표현을 손상시키는 새로운 공격 방법 개발하기.
• 다양한 모델 및 데이터셋 간 적대적 샘플의 이식 가능성을 평가하여 실제 세계에서의 위협 잠재력 분석하기.

제안 방법

• 최종 출력층 뿐 아니라 심도 네트워크의 숨겨진 특징 공간을 공격하는 데 초점을 맞춘 딥 페처 암시화(DFA) 손실을 제안한다.
• DFA 손실을 활용해 픽셀 단위의 변형 공격 및 국소 패치 공격을 설계하여 적대적 입력을 생성한다.
• 입력 이미지에 대한 DFA 손실의 기울기를 활용해 그라디언트 기반 최적화를 통해 화이트박스 공격을 수행한다.
• 서rogate 모델에서 생성한 적대적 샘플을 사용해 블랙박스 공격을 수행하며, 모델 간 및 데이터 간 이식 가능성을 테스트한다.
• 에코더 및 디코더 레이어의 특징 맵을 시각화하여 DFA가 내부 표현을 어떻게 손상시키는지 분석한다. 활성화의 반전 및 주요 특징의 억제 현상을 관찰한다.
• 평가에 KITTI 2015 데이터셋을 사용하며, 성능 측정 지표로는 RMSE 및 상대적 열악화(Re)를 사용한다.

실험 결과

연구 질문

• RQ1 최신 기술의 단안 심도 추정기는 인지하기 어려운 적대적 변형 및 작은 패치 공격에 얼마나 취약한가?
• RQ2 내부 특징 표현을 공격 대상으로 삼는 손실 함수(DFA)는 기존의 출력을 대상으로 하는 방법보다 더 효과적인 공격을 가능하게 하는가?
• RQ3 다른 심도 추정 모델 간에 적대적 샘플이 얼마나 잘 이식되는가(모델 간 이식 가능성)?
• RQ4 Open-source 데이터셋인 KITTI에서 훈련한 패치가 Cityscapes와 같은 프라이빗 데이터에 훈련된 모델을 성공적으로 공격할 수 있는가(데이터 간 이식 가능성)?
• RQ5 적대적 공격는 심도 네트워크의 내부 특징 표현에 어떤 영향을 미치며, 이는 공격 성공의 원인을 설명하는가?

주요 결과

• 1% 미만의 이미지 손상으로도 DDVO 및 Mono2와 같은 모델에서 심도 추정의 상대적 열악화가 100% 이상 발생한다.
• 이미지의 1% 미만 영역을 차지하는 패치만으로도 추정 심도맵에 20% 이상의 손상을 유발하며, 패치 영역 외부로도 영향이 확산된다.
• 제안된 DFA 손실은 내부 특징 표현을 손상시켜 기존 공격 방법보다 훨씬 심각한 심도 예측 저하를 유도한다.
• 서rogate 모델에서 생성한 적대적 샘플을 사용한 블랙박스 공격가 모든 테스트된 최신 기술 심도 추정기에서 성공적으로 작동하여 높은 이식 가능성을 확인했다.
• 데이터 간 이식 가능성이 입증되었다: KITTI에서 훈련한 패치가 Cityscapes 데이터셋의 모델을 성공적으로 공격하여 실제 세계에서의 위협 잠재력을 보여주었다.
• 특징 시각화 결과, DFA는 주요 활성화를 억제하고 비주류 활성화를 과도하게 강조하여 내부 표현의 효과적인 손상이 일어남을 확인했다.