[논문 리뷰] Towards Robust Sensor Fusion in Visual Perception.

Shaojie Wang, Tong Wu외 1명|arXiv (Cornell University)|2020. 06. 23.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 7

한 줄 요약

이 논문은 자율 주행을 위한 시각 인식 센서 융합에서의 강인성에 대해, 악성 공격 하에서 RGB 카메라와 LiDAR의 초기 융합과 후기 융합을 비교한다. 후기 융합이 초기 융합보다 더 강인한 것으로 밝혀졌으며, 손상된 센서 입력 상황에서도 더 강인한 다중모odal 인식 시스템 설계에 대한 통찰을 제공한다.

ABSTRACT

We study the problem of robust sensor fusion in visual perception, especially under the autonomous driving settings. We evaluate the robustness of RGB camera and LiDAR sensor fusion for binary classification and object detection. In this work, we are interested in the behavior of different fusion methods under adversarial attacks on different sensors. We first train both classification and detection models with early fusion and late fusion, then apply different combinations of adversarial attacks on both sensor inputs for evaluation. We also study the effectiveness of adversarial attacks with varying budgets. Experiment results show that while sensor fusion models are generally vulnerable to adversarial attacks, late fusion method is more robust than early fusion. The results also provide insights on further obtaining robust sensor fusion models.

연구 동기 및 목표

• RGB 및 LiDAR 센서에 대한 악성 공격 하에서 센서 융합 방법—특히 초기 융합과 후기 융합—의 강인성 평가.
• 공격 예산의 변화가 융합된 시각 인식 모델의 성능에 미치는 영향 분석.
• 한 개 또는 두 개의 센서가 악성 편향에 의해 손상되었을 때도 신뢰성을 유지할 수 있는 융합 전략 식별.

제안 방법

• RGB 및 LiDAR의 특징를 처리하기 전에 연결하여 초기 융합을 수행하는 모델을 훈련.
• 개별 모odal 헤드에서 처리된 예측 결과를 개별 처리 후 융합하는 후기 융합을 사용하여 모델을 훈련.
• 실제 센서 오염을 시뮬레이션하기 위해 다양한 편향 예산을 가진 공격을 하나 이상의 센서 입력에 적용.
• 이러한 공격 하에서의 모델 성능 평가를 통해 다양한 융합 전략 간의 강인성 비교.
• 표준 악성 공격 방법(예: PGD 또는 FGSM)을 사용하여 입력 이미지 및 포인트 클라우드에 편향 생성.

실험 결과

연구 질문

• RQ1 RGB-LiDAR 시각 인식에서 초기 융합과 후기 융합 간의 악성 공격 간의 강인성 차이는 어떻게 다른가?
• RQ2 공격 예산의 변화가 융합 모델의 성능 저하에 어떤 영향을 미치는가?
• RQ3 한 센서가 악성 조작을 당했을 때 어떤 융합 전략이 더 높은 정확도를 유지하는가?

주요 결과

• 후기 융합은 RGB 또는 LiDAR 입력에 대한 악성 공격 상황에서도 정확도 유지에 있어 초기 융합보다 뛰어나게 일관되게 성능을 발휘한다.
• 초기 융합 모델은 특히 두 센서가 동시에 공격받을 경우 더 높은 취약성을 보인다.
• 공격 예산이 증가할수록 융합 모델의 강인성이 감소하지만, 후기 융합은 모든 예산 수준에서 더 강인한 성능 유지를 보인다.
• 단일 센서에 대한 악성 공격는 초기 융합 성능을 크게 떨어뜨리지만, 후기 융합은 더 강한 예측 일관성을 유지한다.