[논문 리뷰] Improving Robustness of Learning-based Autonomous Steering Using Adversarial Images

Yu Shen, Laura Zheng외 4명|arXiv (Cornell University)|2021. 02. 26.

Adversarial Robustness in Machine Learning참고 문헌 47인용 수 5

한 줄 요약

이 논문은 Fréchet Inception Distance (FID)를 사용하여 영상 품질 열화 영향을 체계적으로 분석하고, 진화적 탐색을 통해 열화 매개변수를 최적화함으로써 학습 기반 자율 주행의 강건성 향상을 위한 새로운 적대적 열화 프레임워크를 제안한다. 이 방법은 손상된 데이터에서 모델 성능을 최대 48% 향상시키며, 눈, dense 등 기존에 볼 수 없었던 교란 요소에 대해서도 일반화되어 데이터 증강 및 표준 적대적 훈련을 능가한다.

ABSTRACT

For safety of autonomous driving, vehicles need to be able to drive under various lighting, weather, and visibility conditions in different environments. These external and environmental factors, along with internal factors associated with sensors, can pose significant challenges to perceptual data processing, hence affecting the decision-making and control of the vehicle. In this work, we address this critical issue by introducing a framework for analyzing robustness of the learning algorithm w.r.t varying quality in the image input for autonomous driving. Using the results of sensitivity analysis, we further propose an algorithm to improve the overall performance of the task of "learning to steer". The results show that our approach is able to enhance the learning outcomes up to 48%. A comparative study drawn between our approach and other related techniques, such as data augmentation and adversarial training, confirms the effectiveness of our algorithm as a way to improve the robustness and generalization of neural network training for autonomous driving.

연구 동기 및 목표

• 엔드 투 엔드 학습-스티어링 모델에 영향을 미치는 영상 품질 열화 요소(예: 블러, 노이즈, 왜곡, 색상 채널 변화 등)의 영향을 분석하기 위해.
• 실제 영상과 시뮬레이션된 영상 분포 간의 분포 차이를 정량화하기 위해 Fréchet Inception Distance (FID)를 사용하여 통합된 메트릭으로서의 열화 심각도 측정 체계를 개발하기 위해.
• 청결한 데이터에서 성능을 훼손시키지 않으면서도 적대적으로 열화된 영상을 생성함으로써 강건성을 향상시키는 확장 가능한 훈련 체계를 설계하기 위해.
• 표준 벤치마킹 관행을 초월하여 단일, 병합, 그리고 이전에 볼 수 없었던 교란 요소를 포함한 다양한 시나리오에서의 강건성 평가를 수행하기 위해.
• 미래의 강건성 평가를 위해 360개의 교란 영상 컬렉션을 포함한 총 220만 장의 영상으로 구성된 종합 벤치마크 데이터셋을 공개하기 위해.

제안 방법

• 이 방법은 실제 영상과 시뮬레이션된 열화 영상 세트 간의 분포 차이를 정량화하기 위해 Fréchet Inception Distance (FID)를 사용하여 MA-FID 공간에서 민감도 분석을 가능하게 한다.
• 영상 열화를 블러, 노이즈, 왜곡, R/G/B/H/S/V 등의 영상 속성에 대한 매개변수화된 공간으로 설정하고, FID를 활용해 효과적인 열화 조합을 탐색한다.
• 진화적 최적화 전략을 통해 실시간으로 모델 성능을 최소화하도록 열화 매개변수를 반복적으로 업데이트함으로써 모델을 도전하는 적대적 교란을 생성한다.
• 훈련 과정에서 실제 데이터와 적대적으로 열화된 시뮬레이션된 데이터를 번갈아가며 사용함으로써 암묵적인 적대적 정규화를 통해 강건성을 향상시킨다.
• 프레임워크는 FID 기반 매개변수화를 통해 고차원 열화 공간을 이산화하여 최적의 열화 패턴을 효율적이고 확장 가능한 방식으로 탐색할 수 있도록 한다.
• 이 방법은 Audi 데이터셋에서 YOLOv4를 사용한 검출 작업으로 확장되어 이식성과 일관된 mAP 향상(3–5%)을 입증한다.

실험 결과

연구 질문

• RQ1 블러, 노이즈, 왜곡, 색상 채널 변화 등의 다양한 영상 품질 속성은 엔드 투 엔드 학습-스티어링 모델의 성능에 어떻게 영향을 미치는가?
• RQ2 Fréchet Inception Distance (FID)는 시뮬레이션된 영상 오염 데이터로 훈련된 모델의 실세계 성능을 예측하는 데 신뢰할 수 있는 메트릭으로 기능할 수 있는가?
• RQ3 적대적 열화 생성은 자율 주행 환경에서 볼 수 있었던 및 볼 수 없었던 영상 오염에 대해 모델의 강건성을 얼마나 향상시킬 수 있는가?
• RQ4 표준 데이터 증강 및 적대적 훈련에 비해 이 방법은 다양한 교란 시나리오에서 정확도와 일반화 능력 측면에서 어떻게 비교되는가?
• RQ5 이 프레임워크는 영상 기반 스티어링 외의 다른 학습 작업 및 센서 모달리티로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 복합적인 영상 교란이 포함된 데이터셋에서 강력한 베이스라인 대비 학습-스티어링 작업의 평균 정확도를 최대 48% 향상시킨다.
• 눈, dense, 서리 등 이전에 볼 수 없었던 교란 요소에 대해 29%의 성능 향상을 달성하여 훈련 분포를 초월한 강력한 일반화 능력을 입증한다.
• YOLOv4를 사용한 검출 작업에서 평균 mAP 향상이 3–5%이며, mCE는 3.14–5.18% 감소하여 기준 모델 대비 개선된 성능을 보였다.
• FID 기반 민감도 분석은 시뮬레이션된 데이터로 훈련된 모델의 실세계 성능을 성공적으로 예측하여, 열화 심각도 측정을 위한 통합 메트릭으로서의 유용성을 입증한다.
• 이 프레임워크는 다양한 교란 시나리오, 복잡한 오염 조합 포함하여 다양한 작업으로 일반화되며 일관된 성능 향상을 보였다.
• 저자들은 ImageNet-C의 새로운 요소를 포함한 총 220만 장의 영상으로 구성된 360개의 교란 영상 컬렉션을 포함한 종합적이고 포괄적인 벤치마크 데이터셋을 공개하여 향후 강건성 연구를 지원한다.