[논문 리뷰] Adversarial Training of Self-supervised Monocular Depth Estimation against Physical-World Attacks

Zhiyuan Cheng, James Liang외 3명|arXiv (Cornell University)|2023. 01. 31.

Image Processing Techniques and Applications인용 수 6

한 줄 요약

이 논문은 지도 학습이 필요 없는 단안 깊이 추정(MDE)을 위한 자기지도 학습 대비 공격 방식을 제안한다. 시각 합성 기반으로 스테레오 영상에서 유도된 시야를 활용하고 훈련 중에 $L_0$-노름 기반의 교란을 적용함으로써, 실제 세계 공격에 대한 강건성을 향상시킨다. 이로 인해 정상 입력의 정확도가 거의 손상되지 않으면서도 디지털 및 실제 세계 공격에 대해 강력한 방어 성능을 달성한다.

ABSTRACT

Monocular Depth Estimation (MDE) is a critical component in applications such as autonomous driving. There are various attacks against MDE networks. These attacks, especially the physical ones, pose a great threat to the security of such systems. Traditional adversarial training method requires ground-truth labels hence cannot be directly applied to self-supervised MDE that does not have ground-truth depth. Some self-supervised model hardening techniques (e.g., contrastive learning) ignore the domain knowledge of MDE and can hardly achieve optimal performance. In this work, we propose a novel adversarial training method for self-supervised MDE models based on view synthesis without using ground-truth depth. We improve adversarial robustness against physical-world attacks using L0-norm-bounded perturbation in training. We compare our method with supervised learning based and contrastive learning based methods that are tailored for MDE. Results on two representative MDE networks show that we achieve better robustness against various adversarial attacks with nearly no benign performance degradation.

연구 동기 및 목표

• 자기지도 학습 단안 깊이 추정(MDE)에 대해 실제 세계 공격에 대한 강건한 방어 방법이 부족한 문제를 해결하기 위해.
• 자신의 지도 학습 MDE에서 이용할 수 없는 진짜 깊이 레이블이 필요한 전통적 대비 공격 훈련의 한계를 극복하기 위해.
• 정상적인 자연 입력에서의 성능이 떨어지지 않도록 강건성을 향상시키기 위해.
• 스테레오 시야에서 유도된 기하학적 제약 조건을 활용하여 현실적인 대비 공격 교란을 시뮬레이션하는 방법을 개발하기 위해.
• 다양한 조건에서 디지털 세계 및 실제 세계 공격에 대한 효과성을 검증하기 위해.

제안 방법

• 두 대의 카메라 또는 영상 프레임을 사용하여 인쇄된 2차원 보드(예: 자동차)의 스테레오 시야를 촬영하여 합성 훈련 데이터를 생성한다.
• 한 시야의 보드 2차원 이미지에 $L_0$-노름 기반의 교란을 적용하여 대비 공격을 시뮬레이션한다.
• 추정된 깊이 및 카메라 자세 파rameter를 사용하여 두 번째 시야에서 교란된 이미지를 재구성하기 위해 시각 합성을 활용한다.
• 재구성된 이미지와 교란된 이미지를 감독 신호로 사용하여 MDE 모델을 훈련함으로써 자기지도 학습 대비 공격 훈련을 가능하게 한다.
• 시야 간 기하학적 일관성을 미분 가능한 손실로 통합하여 깊이 추정의 강건성을 향상시킨다.
• 일반화와 공격 효과성의 균형을 맞추기 위해 훈련 중에 물체 거리(5–10 m)를 무작위로 샘플링한다.

실험 결과

연구 질문

• RQ1 지도 학습이 없는 조건에서 자기지도 학습 대비 공격 훈련이 단안 깊이 추정에 효과적으로 적용될 수 있는가?
• RQ2 시각 합성 프레임워크 내에서 $L_0$-노름 기반의 교란이 실제 세계 공격에 대한 강건성을 어떻게 향상시키는가?
• RQ3 제안된 방법은 대비 예측에 대해 높은 성능을 유지하면서도 정상 입력에서의 성능을 유지하는가?
• RQ4 강건성 및 전이 가능성 측면에서 이 방법은 지도 학습 및 대조 학습 기반 방어 방법과 비교해 어떻게 성능을 낼 수 있는가?
• RQ5 강건성과 일반화를 균형 잡기 위해 훈련 시 적절한 물체 거리 범위는 무엇인가?

주요 결과

• 제안된 L0+SelfSup 방법은 지도 학습 및 대조 학습 기반 기준 대비 디지털 세계 및 실제 세계 공격에 대해 뛰어난 강건성을 확보한다.
• 모델의 정상 입력 성능에 거의 영향을 주지 않으며, 원래 모델의 정확도를 그대로 유지한다.
• L0+SelfSup 모델에서 생성된 대비 예측은 전이 가능성 수준이 낮아 블랙박스 공격에 대해 강력한 방어 성능을 보인다.
• 5–10미터 거리 범위로 훈련한 모델가 가장 뛰어난 강건성을 확보하며, 더 좁거나 넓은 범위보다 뛰어난 성능을 보였다.
• 실제 세계 평가에서 하드닝된 모델은 이동 중인 차량에 부착된 대비 패치로 인한 깊이 추정 오류(예: '구멍')를 효과적으로 완화했다.
• 다양한 조명 조건, 도로 유형, 주행 조건에서 최신 기술의 실제 세계 공격에 효과적으로 대비할 수 있었다.