[논문 리뷰] Unsupervised Domain Adaptation for Multispectral Pedestrian Detection

Dayan Guan, Xing Luo외 5명|arXiv (Cornell University)|2019. 04. 07.

Video Surveillance and Tracking Methods참고 문헌 36인용 수 4

한 줄 요약

이 논문은 수동 레이블링 없이 타겟 도메인에서 반복적으로 가짜 애너테이션을 생성하고 이중 스트림 검출기를 업데이트하는 비지도 도메 적응 프레임워크를 제안한다. 정렬된 가시광선 및 적외선 이미지 간의 유사성과 상보성을 활용함으로써, 감독 모델에 근접한 검출 성능를 달성하며, 수동 레이블링이 없는 기준 모델 대비 31.37% 향상되고 비지도 최신 기법 대비 6.67% 향상된다.

ABSTRACT

Multimodal information (e.g., visible and thermal) can generate robust pedestrian detections to facilitate around-the-clock computer vision applications, such as autonomous driving and video surveillance. However, it still remains a crucial challenge to train a reliable detector working well in different multispectral pedestrian datasets without manual annotations. In this paper, we propose a novel unsupervised domain adaptation framework for multispectral pedestrian detection, by iteratively generating pseudo annotations and updating the parameters of our designed multispectral pedestrian detector on target domain. Pseudo annotations are generated using the detector trained on source domain, and then updated by fixing the parameters of detector and minimizing the cross entropy loss without back-propagation. Training labels are generated using the pseudo annotations by considering the characteristics of similarity and complementarity between well-aligned visible and infrared image pairs. The parameters of detector are updated using the generated labels by minimizing our defined multi-detection loss function with back-propagation. The optimal parameters of detector can be obtained after iteratively updating the pseudo annotations and parameters. Experimental results show that our proposed unsupervised multimodal domain adaptation method achieves significantly higher detection performance than the approach without domain adaptation, and is competitive with the supervised multispectral pedestrian detectors.

연구 동기 및 목표

• KAIST 및 CVC-14와 같은 다스펙트럼 보행자 검출 데이터셋 간의 도메인 시프트 문제를 해결하기 위해, 한 도메인에서 훈련된 검출기가 다른 도메인에서 성능이 떨어지는 문제를 해결한다.
• 가짜 레이블을 활용한 비지도 적응을 통해 타겟 도메인에서의 고비용 수동 애너테이션 필요성을 제거한다.
• 가시광선 및 적외선 모odal 간의 상보적 특징을 활용하여 다양한 조건(시야각, 날씨, 카메라)에서도 검출의 강건성을 향상시킨다.
• 반복적 정련에도 불구하고 감독 훈련 대비 최소한의 계산 오버헤드를 유지하는 훈련 프레임워크를 개발한다.

제안 방법

• 기본 도메인(예: KAIST)에서 사전 훈련된 검출기를 사용해 가짜 애너테이션을 생성하고, 이후 검출기를 고정한 상태에서 역전파 없이 교차 엔트로피 손실을 최소화하여 정련한다.
• 공간적으로 정렬된 가시광선 및 적외선 스트림의 가짜 애너테이션을 융합하여 훈련 레이블을 생성함으로써, 공간적 일치성, 유사성, 상보적 신호를 활용한다.
• 두 스트림 검출기를 함께 최적화하기 위해 다중 검출 손실 함수를 정의하여, 역전파를 통한 특징 학습을 가능하게 한다.
• 가짜 애너테이션 정련과 검출기 파rameter 업데이트를 반복적으로 번갈아가며 타겟 도메인에서의 일반화 능력을 향상시킨다.
• 잘 정렬된 가시광선-적외선 이미지 쌍을 활용해 가짜 레이블 생성 시 공간 일致성을 확보함으로써 검출 신뢰도를 향상시킨다.
• 가짜 레이블 최적화가 기울기 계산이 필요 없기 때문에 추가적인 훈련 시간이 거의 들지 않아, 추가 비용이 최소화된 효율적이고 확장 가능한 프레임워크로 설계되었다.

실험 결과

연구 질문

• RQ1 수동 레이블링 없이 비지도 도메 적응이 다스펙트럼 보행자 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 다양한 조명 및 환경 조건에서 제안된 방법이 감독 기반 기준 모델 대비 검출 정확도에서 어떻게 성능을 내는가?
• RQ3 원천 도메인 검출기에서 생성된 가짜 애너테이션이 도메인 시프트가 있는 타겟 도메인으로 일반화될 수 있는 정도는 어느 정도인가?
• RQ4 반복적 정련을 통해 가시광선 및 적외선 특징의 상보적 통합이 검출 강건성 향상에 기여하는가?
• RQ5 완전히 감독된 접근 방식에 근접한 성능를 달성하면서도 훈련 효율성을 유지할 수 있는가?

주요 결과

• 제안된 비지도 다중모odal 도메인 적응(UMDA) 방법은 CVC-14 데이터셋에서 픽셀 수준 평균 정밀도(AP) 0.8023을 달성했으며, 이는 ACF+T+THOG 기준 모델 대비 8.84% 높고 감독 기반 SMDA 모델 대비 6.67% 낮다.
• UMDA는 비적응 기준 모델(WMDA) 대비 AP에서 31.37% 향상되어 도메인 적응의 효과를 입증한다.
• 낮과 밤 조건 모두에서 경쟁적인 성능를 기록했으며, 각각 AP 0.7688과 0.8503을 달성하여 조도 변화에 대한 강건성을 입증한다.
• 정성적 결과 분석에서 UMDA는 한 모달에서 인간 특징이 뚜렷할 경우 SMDA와 유사한 성능를 보였지만, 혼잡한 배경이나 저대비 상황에서는 어려움을 겪는다.
• 가짜 레이블 최적화가 역전파가 필요 없기 때문에 추가 비용이 거의 들지 않아, 제안된 방법의 훈련 시간은 감독 훈련과 거의 동일하다.
• SMDA의 이중 스트림 검출 감시 모듈이 성능 향상에 기여함을 확인하여, 다스펙트럼 검출에서 모odal별 특징 학습의 가치를 재확인한다.