[논문 리뷰] Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming

Claudio Michaelis, Benjamin Mitzkus외 6명|arXiv (Cornell University)|2019. 07. 17.

Advanced Neural Network Applications인용 수 199

한 줄 요약

본 논문은 Robust Detection Benchmark(PASCAL-C, COCO-C, Cityscapes-C)을 도입하여 객체 검출 모델이 다양한 이미지 손상 하에서 어떻게 성능을 발휘하는지 평가하고, 학습 데이터를 스타일링하는 것이 손상 및 데이터셋 전반에 걸쳐 강건성을 향상시킨다는 것을 보인다.

ABSTRACT

The ability to detect objects regardless of image distortions or weather conditions is crucial for real-world applications of deep learning like autonomous driving. We here provide an easy-to-use benchmark to assess how object detection models perform when image quality degrades. The three resulting benchmark datasets, termed Pascal-C, Coco-C and Cityscapes-C, contain a large variety of image corruptions. We show that a range of standard object detection models suffer a severe performance loss on corrupted images (down to 30--60\\% of the original performance). However, a simple data augmentation trick---stylizing the training images---leads to a substantial increase in robustness across corruption type, severity and dataset. We envision our comprehensive benchmark to track future progress towards building robust object detection models. Benchmark, code and data are publicly available.

연구 동기 및 목표

• 다양한 기상 상황과 이미지 왜곡에 따른 자율주행용 강건한 객체 탐지를 촉진한다.
• 탐지 모델의 강건성을 정량화하기 위한 쉽고 표준화된 벤치마크를 제공한다.
• 합성 손상이 rain, snow, fog와 같은 실제 왜곡에 어떻게 연관되는지 보여준다.
• 스타일링된 학습을 통한 데이터 증강이 강건성을 상당히 향상시킬 수 있음을 입증한다.

제안 방법

• 세 가지 데이터셋(PASCAL-C, COCO-C, Cityscapes-C)으로 구성된 Robust Detection Benchmark를 제안하되 각 데이터셋은 다섯 가지 심각도 수준에서 15개의 손상 유형을 포함한다.
• ImageNet-C에서 영감을 얻은 손상 유형과 평가 지표를 채택하고, 손상 하에서의 평균 성능(mPC) 및 상대적 악화(rPC)을 사용한다.
• 표준 객체 탐지 모델(Faster R-CNN, Mask R-CNN, Cascade 변형, RetinaNet, Hybrid Task Cascade)과 다양한 백본을 이용해 평가한다.
• 텍스처 편향을 줄이고 강건성을 향상시키기 위한 데이터 증강으로 스타일 전이를 도입한다(스타일라이즈드 학습 데이터).
• 표준 데이터, 스타일라이즈드 데이터, 그리고 결합 데이터셋의 트레이닝 방식을 비교하여 강건성 향상을 평가한다.
• 손상에 대한 벤치마크 구축(open-source 코드 및 사전 구축 도구 포함)으로 imagecorruptions, stylize-datasets, robust-detection-benchmark 같은 도구를 제공한다.

실험 결과

연구 질문

• RQ1 VOC, COCO, Cityscapes 데이터셋 전반에서 일반적인 객체 탐지 모델이 손상된 이미지에서 어떻게 수행하는가?
• RQ2 간단한 데이터 증강인 학습 이미지의 스타일링이 깨끗한 성능 저하 없이 광범위한 손상에 대한 강건성을 향상시킬 수 있는가?
• RQ3 합성 손상에 대한 강건성이 rain, snow, fog 같은 자연스러운 왜곡에 대한 강건성으로 이어지는가?
• RQ4 모델 백본 용량과 손상 강건성 간의 관계는 어떤가?
• RQ5 스타일라이즈된 프리트레이닝 또는 스타일라이즈된 최종 학습 중 어떤 것이 객체 탐지의 손상 강건성에 더 효과적인가?

주요 결과

• 다수의 객체 탐지 및 인스턴스 분할 모델이 손상된 이미지에서 상당한 성능 저하를 보인다.
• 강한 백본은 일반적으로 손상에 대한 강건성을 향상시켜 이미지 인코딩 용량과 함께 강건성이 증가한다.
• 스타일라이즈드 데이터로의 학습은 손상 전반에서 강건성을 크게 향상시키며, 스타일라이즈된 데이터와 표준 데이터를 결합하면 손상된 데이터에서의 Overall 성능이 최적화되고 깨끗한 데이터에서의 손실은 최소화된다.
• 스타일라이즈드 학습은 rain, snow, fog 같은 자연스러운 왜곡에 대한 일반화도 향상시키며, 자율주행 데이터셋의 주간/야간 및 안개 조건에서도 도움이 된다.
• Robust Detection Benchmark(PASCAL-C, COCO-C, Cityscapes-C)은 강건성 향상을 추적하는 표준화된 방법을 제공하고, 스타일링을 넘어선 아키텍처 및 알고리즘적 발전의 여지가 여전히 남아 있음을 보여준다.