[논문 리뷰] CARLA-GeAR: a Dataset Generator for a Systematic Evaluation of Adversarial Robustness of Vision Models

Federico Nesti, Giulio Rossolini외 3명|arXiv (Cornell University)|2022. 06. 09.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

CARLA-GeAR는 자율주행 주행 시나리오에서 시각 모델의 적대적 강건성 평가를 위한 사진처럼 생긴 합성 데이터셋을 생성하는 CARLA 시뮬레이터 기반의 데이터셋 생성기입니다. 이는 세분화, 객체 검출, 깊이 추정과 같은 여러 시각 작업을 대상으로 물리적 적대적 패치의 체계적 벤치마킹을 가능하게 하며, 실험적 검증을 통해 공격 하에서 성능 저하가 심각하고 방어 방법의 효과가 다양함을 보여줍니다.

ABSTRACT

Adversarial examples represent a serious threat for deep neural networks in several application domains and a huge amount of work has been produced to investigate them and mitigate their effects. Nevertheless, no much work has been devoted to the generation of datasets specifically designed to evaluate the adversarial robustness of neural models. This paper presents CARLA-GeAR, a tool for the automatic generation of photo-realistic synthetic datasets that can be used for a systematic evaluation of the adversarial robustness of neural models against physical adversarial patches, as well as for comparing the performance of different adversarial defense/detection methods. The tool is built on the CARLA simulator, using its Python API, and allows the generation of datasets for several vision tasks in the context of autonomous driving. The adversarial patches included in the generated datasets are attached to billboards or the back of a truck and are crafted by using state-of-the-art white-box attack strategies to maximize the prediction error of the model under test. Finally, the paper presents an experimental study to evaluate the performance of some defense methods against such attacks, showing how the datasets generated with CARLA-GeAR might be used in future work as a benchmark for adversarial defense in the real world. All the code and datasets used in this paper are available at http://carlagear.retis.santannapisa.it.

연구 동기 및 목표

• 실세계 자율주행 시나리오에서 시각 모델의 적대적 강건성 평가를 위한 표준화된 벤치마크가 부족한 문제를 해결한다.
• 실제 물리적 적대적 공격의 실용성과 안전성 제약을 극복하기 위해 완전히 제어 가능한 사진처럼 생긴 시뮬레이션 기반 평가를 가능하게 한다.
• 실제 물리적 공격 조건에서 다양한 적대적 방어 및 탐지 방법의 성능을 체계적으로 비교한다.
• 실제 물체인 간판이나 트럭에 부착된 적대적 패치를 포함한 데이터셋을 재사용 가능하고 오픈소스로 생성할 수 있는 도구를 제공한다.
• 표준화되고 재현 가능한 평가를 통해 향후 적대적 강건성 및 방어 방법의 벤치마킹 기반을 마련한다.

제안 방법

• 도시 주행 시나리오의 고해상도 사진처럼 생긴 RGB 이미지와 정답 레이블을 생성하기 위해 CARLA 시뮬레이터의 파이썬 API를 활용한다.
• 최신 백박스 공격 전략을 사용해 간판이나 트럭 뒷면과 같은 표면에 적대적 패치를 자동으로 부착하여 모델 예측 오류를 최대화한다.
• 세분화, 2D 및 3D 스테레오 객체 검출, 단안 깊이 추정의 네 가지 시각 작업을 지원하며, 카메라 및 시나리오 메타데이터를 동기화한다.
• 패치가 없는 사전 수집 데이터셋을 기반으로 최적화를 통해 패치를 생성하며, 물리적 제약 조건 하에서 오분류를 최대화하도록 맞춤형 손실 함수를 사용한다.
• 모델 강건성과 방어 메커니즘의 체계적 평가를 위해 다양한 공격 시나리오와 물체 배치에서 여러 데이터셋을 수집한다.
• 사전 계산된 패치가 포함된 데이터셋을 제공하며, 계산 오버헤드를 줄이기 위해 요청 시 커스터마이제이션 생성도 지원한다.

실험 결과

연구 질문

• RQ1 최신 방어 방법들(예: Z-Mask, LGS)이 자율주행 시나리오에서 시각 모델에 대한 물리적 적대적 공격을 얼마나 효과적으로 완화하는가?
• RQ2 CARLA에서 생성된 데이터와 실세계 학습 데이터 간의 분포 이탈(예: COCO, CityScapes)이 생성된 적대적 데이터셋에서 모델 성능에 어느 정도 영향을 미치는가?
• RQ3 CARLA와 같은 시뮬레이션 기반 사진처럼 생긴 환경이 다양한 공격 구성 조건에서 적대적 강건성의 신뢰성 있고 체계적인 평가를 가능하게 하는가?
• RQ4 동일한 적대적 패치가 세분화와 깊이 추정과 같은 다른 시각 작업에서 성능 저하에 어떻게 반응하는가?
• RQ5 대규모이고 현실적인 적대적 데이터셋을 생성하여 벤치마크를 수행하는 데 있어 계산적 및 실용적 과제는 무엇인가?

주요 결과

• 적대적 패치의 사용은 모든 작업에서 모델 성능을 심각하게 떨어뜨리며, 최악의 경우 평균 성능 저하가 -25.48%에서 -45.41%까지 발생한다.
• Z-Mask 및 LGS와 같은 방어 방법은 성능 결과가 엇갈린다: Z-Mask는 일부 경우에서 성능 향상을 보였으며(예: Stereo R-CNN에서 Billboard04에서 +8.84%), 다른 경우에서는 성능 저하가 발생했다(예: DDRNet에서 Billboard06에서 -33.17%).
• LGS 방어는 Billboard07(13.35% 상대적 향상)과 Billboard08(15.84% 향상)에서 성능 향상을 보였으며, 이는 작업 및 시나리오에 따라 효과가 다름을 시사한다.
• CARLA에서 생성된 데이터셋에서의 모델 성능은 실세계 학습 데이터보다 현저히 떨어지며, 이는 합성 데이터 특성으로 인한 분포 이탈이 크다는 것을 시사한다.
• 이 도구는 일관되고 재현 가능한 적대적 강건성 평가를 가능하게 하며, 데이터셋은 다운로드 가능하고 요청 시 커스터마이제이션 생성도 가능하다.
• 이 연구는 CARLA-GeAR가 향후 벤치마킹의 기초가 될 수 있음을 보여주지만, 표준화된 메트릭과 평가 플랫폼은 여전히 개발이 필요하다.