[논문 리뷰] Let There be Light: Improved Traffic Surveillance via Detail Preserving Night-to-Day Transfer

Lan Fu, Hongkai Yu외 4명|arXiv (Cornell University)|2021. 05. 11.

Video Surveillance and Tracking Methods참고 문헌 52인용 수 4

한 줄 요약

이 논문은 사전에 훈련된 주간 객체 검출기들을 야간 교통 감시에 직접 사용할 수 있도록 하는 디테일 유지를 위한 야간에서 주간으로의 이미지 번역 프레임워크를 제안한다. 합성 쌍 데이터를 위한 스타일 믹싱과 고해상도 번역을 위한 커널 예측 네트워크(KPN)를 조합함으로써, 검출기의 미세조정 없이도 야간 차량 검출 벤치마크에서 최신 기술 수준의 mAP 87.80%를 달성한다.

ABSTRACT

In recent years, image and video surveillance have made considerable progresses to the Intelligent Transportation Systems (ITS) with the help of deep Convolutional Neural Networks (CNNs). As one of the state-of-the-art perception approaches, detecting the interested objects in each frame of video surveillance is widely desired by ITS. Currently, object detection shows remarkable efficiency and reliability in standard scenarios such as daytime scenes with favorable illumination conditions. However, in face of adverse conditions such as the nighttime, object detection loses its accuracy significantly. One of the main causes of the problem is the lack of sufficient annotated detection datasets of nighttime scenes. In this paper, we propose a framework to alleviate the accuracy decline when object detection is taken to adverse conditions by using image translation method. We propose to utilize style translation based StyleMix method to acquire pairs of day time image and nighttime image as training data for following nighttime to daytime image translation. To alleviate the detail corruptions caused by Generative Adversarial Networks (GANs), we propose to utilize Kernel Prediction Network (KPN) based method to refine the nighttime to daytime image translation. The KPN network is trained with object detection task together to adapt the trained daytime model to nighttime vehicle detection directly. Experiments on vehicle detection verified the accuracy and effectiveness of the proposed approach.

연구 동기 및 목표

• 실제로 야간 데이터에 대한 레이블이 부족하여 발생하는 야간 객체 검출 성능 열악함의 문제를 해결하기 위해.
• GAN 기반 이미지 번역의 한계, 예를 들어 디테일 손실 및 모드 붕괴를 극복하기 위해.
• 사전에 훈련된 주간 검출 모델을 미세조정 없이 야간 환경에 직접 적응시킬 수 있도록 하기 위해.
• 이미지 번역 과정에서 구조적 디테일을 유지함으로써 후속 검출 정확도를 향상시키기 위해.
• 불리한 조명 조건 하에서 기존 주간 모델을 효율적으로 재사용할 수 있는 방법을 개발하기 위해.

제안 방법

• 실제 쌍화된 데이터가 필요 없이, 스타일 전이 기반의 StyleMix를 사용하여 합성된 주간 및 야간 이미지를 생성한다.
• 각 픽셀에서 국소적인 공간적 맥락을 융합함으로써 야간에서 주간으로의 번역을 개선하기 위해 커널 예측 네트워크(KPN)를 활용한다.
• KPN을 객체 검출 작업과 함께 동시에 훈련시켜, 번역된 이미지가 시각적으로 현실적이면서도 검출에 유리한 특성을 확보한다.
• 번역 이전에 입력 야간 이미지의 품질을 향상시키기 위해 Zero-Reference 및 대trast 강화 등의 전처리 기법을 적용한다.
• 도메인 일반화를 향상시키기 위해, D&N-Car, BDD, WCT2 등 다양한 야간 스타일 이미지 풀을 활용해 StyleMix에서 스타일 참조를 선택한다.
• KPN 기반 번역 모델을 사용해 야간 입력에서 주간 스타일 이미지를 재구성한 후, 사전에 훈련된 주간 검출기를 직접 적용한다.

실험 결과

연구 질문

• RQ1 스타일 믹싱을 활용한 비쌍화 이미지 번역이 훈련을 위해 현실적이고 다양한 합성 야간 이미지를 생성할 수 있는가?
• RQ2 기존 GAN과 비교해 커널 예측 네트워크(KPN)가 야간에서 주간으로의 이미지 번역 과정에서 구조적 디테일을 효과적으로 유지할 수 있는가?
• RQ3 KPN을 검출 작업과 함께 공동 훈련시키면 야간 데이터에서의 검출 성능 향상에 기여하는가?
• RQ4 StyleMix에서 스타일 참조의 다양성이 최종 검출 시스템의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 사전에 훈련된 주간 검출기의 미세조정 없이도 높은 검출 정확도를 달성할 수 있는가?

주요 결과

• 제안된 방법은 네 개의 야간 테스트 서브셋에서 평균 mAP 87.80%를 달성하여 베이스라인(62.51%)과 다른 아블레이션 변형들보다 뚜렷이 뛰어난 성능을 보였다.
• D&N-Car 데이터셋에서 다섯 개의 야간 스타일 참조를 사용한 StyleMix를 추가함으로써, 단일 참조 사용 대비 mAP가 5.2% 향상되었다.
• StyleMix와 대trast 강화 전처리의 조합은 Night1에서 mAP 80.20%를 기록했으며, 이는 베이스라인 대비 17.69% 향상된 결과였다.
• KPN 기반 정밀 조정은 질감 손실을 감소시키고 세밀한 구조적 디테일을 유지하여, 기존 GAN 기반 방법보다 더 뛰어난 검출 성능을 달성했다.
• 이 방법은 번역된 야간 이미지에 대해 사전에 훈련된 주간 검출기를 직접 추론에 사용할 수 있도록 하여, 모델의 미세조정이 필요 없게 하였다.
• 아블레이션 연구를 통해 StyleMix, KPN, 전처리 각 요소가 최종 검출 정확도 향상에 긍정적인 기여를 했다는 것이 확인되었다.