[논문 리뷰] Domain Adaptive Object Detection for Autonomous Driving under Foggy Weather

Jinlong Li, Runsheng Xu외 4명|arXiv (Cornell University)|2022. 10. 27.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 이미지 수준 및 객체 수준의 도메인 적응을 결합하고, 하드 예제 마이닝을 위한 새로운 적대적 기울기 반전 레이어(AdvGRL)와 데이터 증강을 통해 생성된 보조 도메인을 통한 도메인 수준의 메트릭 정규화를 통해 dense한 안개 낀 기상 조건에서 자율 주행을 위한 도메인 적응형 객체 검출 프레임워크를 제안한다. 이 방법은 Cityscapes-to-Foggy Cityscapes에서 SOTA mAP 42.34를 달성하며, 도메인 적응을 수행하지 않은 기준 모델보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

Most object detection methods for autonomous driving usually assume a consistent feature distribution between training and testing data, which is not always the case when weathers differ significantly. The object detection model trained under clear weather might not be effective enough in foggy weather because of the domain gap. This paper proposes a novel domain adaptive object detection framework for autonomous driving under foggy weather. Our method leverages both image-level and object-level adaptation to diminish the domain discrepancy in image style and object appearance. To further enhance the model's capabilities under challenging samples, we also come up with a new adversarial gradient reversal layer to perform adversarial mining for the hard examples together with domain adaptation. Moreover, we propose to generate an auxiliary domain by data augmentation to enforce a new domain-level metric regularization. Experimental results on public benchmarks show the effectiveness and accuracy of the proposed method. The code is available at https://github.com/jinlong17/DA-Detect.

연구 동기 및 목표

• 자율 주행 객체 검출에서 명확한 날씨와 안개 낀 날씨 간의 도메인 차이를 해결하기 위해.
• 이미지 스타일과 객체 외관의 도메인 불일치를 줄여 악천후 조건에서도 모델의 일반화 능력을 향상시키기 위해.
• 이전 학습 과정에서 하드 예제를 적대적으로 마이닝함으로써 전이 학습 중 학습을 향상시키기 위해.
• 데이터 증강을 통해 생성된 보조 도메인을 활용한 새로운 도메인 수준의 메트릭 정규화를 도입하기 위해.
• 라벨이 부여된 안개 낀 데이터가 필요 없이도 안개 조건에서의 강건성을 향상시키는 통합 프레임워크를 개발하기 위해.

제안 방법

• 명확한 날씨와 안개 낀 날씨 도메인 간의 도메인 불변 특징을 학습하기 위해 이미지 수준 및 객체 수준의 도메인 분류기를 활용한다.
• 특징의 L1 거리로부터 예측된 예측의 어려움을 기반으로 기울기 반전을 동적으로 조절함으로써 하드 예제를 식별하고 집중하는 Adversarial Gradient Reversal Layer (AdvGRL)를 도입한다.
• 데이터 증강(예: 비 합성)을 통해 보조 도메인을 생성함으로써 도메인 수준의 메트릭 정규화를 새롭게 구현한다. 이는 소스, 보조, 타겟 도메인 간의 특징 거리 제약을 위해 사용된다.
• 객체 검출 손실, 도메인 분류 손실, 메트릭 정규화 손실을 조합한 다중 작업 손실을 사용하여 검출과 도메인 적응을 동시에 최적화한다.
• 예제의 어려움을 기반으로 기울기 반전을 제어하기 위해 학습 가능한 임계값 β와 α를 사용하여 AdvGRL을 적용한다. 이는 특징의 L1 거리로부터 계산된다.
• 라벨이 부여된 명확한 날씨 이미지와 레이블이 없는 안개 낀 날씨 이미지만을 사용하여 비지도 학습 방식으로 모델을 훈련시킨다.

Figure 1: Illustration of the domain adaptive object detection for autonomous driving: (a) Faster R-CNN [ 37 ] detection under clear weather, (b) Faster R-CNN detection under foggy weather without domain adaptation, (c) Faster R-CNN detection under foggy weather with the proposed domain adaptation.

실험 결과

연구 질문

• RQ1 이미지 수준 및 객체 수준의 도메인 적응을 동시에 적용할 경우 안개 낀 기상 조건에서의 도메인 차이를 효과적으로 줄일 수 있는가?
• RQ2 기울기 반전 메커니즘을 통한 적대적 하드 예제 마이닝이 저시야 조건에서 모델의 강건성을 향상시키는가?
• RQ3 데이터 증강을 통해 생성된 보조 도메인을 도입함으로써 도메인 수준의 메트릭 정규화가 향상되고 전이 성능이 향상되는가?
• RQ4 실제 안개 낀 환경 벤치마크에서 제안된 방법은 기준 도메인 적응 모델 및 소스 전용 모델과 비교해 어떻게 성능을 내는가?
• RQ5 손실 가중치 및 임계값과 같은 하이퍼파rameter의 값이 최종 검출 정확도에 얼마나 큰 영향을 미치는가?

주요 결과

• 제안된 방법은 Cityscapes-to-Foggy Cityscapes 벤치마크에서 평균 평균 정밀도(mAP) 42.34를 달성하였으며, 이미지 및 객체 수준의 적응만 적용한 기준 Faster R-CNN보다 높은 41.30 mAP를 기록한 것보다 뚜렷하게 뛰어나다.
• 제거 실험 결과, AdvGRL과 도메인 수준의 메트릭 정규화 모두 긍정적인 기여를 하는 것으로 확인되었으며, 전체 모델(img+obj+AdvGRL+Reg)이 가장 높은 mAP를 기록하였다.
• CycleGAN 기반의 도메인 랜덤라이제이션 방법을 사용할 경우 단지 32.8 mAP에 머물렀으며, 이는 안개와 같은 복잡한 도메인 차이에 대해 표준 도메인 랜덤라이제이션이 부족함을 시사한다.
• 일반적인 데이터 증강(색상 변경, 블러, 노이즈)을 통해 보조 도메인을 생성한 경우 38.7 mAP를 기록하였으며, 이는 제안된 비 합성 기반 보조 도메인을 사용한 경우의 42.34 mAP보다 낮았다.
• 사전 훈련 없이도 42.34 mAP를 달성하였으며, 사전 훈련된 Faster R-CNN에서 얻은 41.30 mAP보다 略적으로 높은 성능을 기록하여 제안된 방법이 초기화에 대해 강건함을 시사한다.
• 정성적 결과는 기준 모델 대비 안개 낀 조건에서의 객체 검출 성능 향상이 뚜렷하게 향상되었으며, 더 적은 수의 빠진 검출과 더 정확한 바운딩 박스를 제공함을 보여준다.

Figure 2: The architecture of proposed domain adaptive object detection for autonomous driving under foggy weather. Based on the traditional Faster R-CNN architecture [ 37 ] , the image-level and object-level domain adaptations with adversarial gradient reversal layer (AdvGRL) and domain-level metri