[논문 리뷰] Learning Cross-Modal Deep Representations for Robust Pedestrian Detection

Dan Xu, Wanli Ouyang외 3명|arXiv (Cornell University)|2017. 04. 08.

Video Surveillance and Tracking Methods참고 문헌 55인용 수 23

한 줄 요약

이 논문은 RGB 및 열화상 영상 쌍을 활용하여 빛의 영향을 받지 않는 강건한 특징을 학습함으로써 열화상 도메인에서 보행자 박스 레이블이 필요 없이 보행자 검출을 위한 프레임워크를 제안한다. 비지도 학습 방식으로 RGB 영상에서 열화상 특징으로 매핑하는 데 사용되는 영역 재구성 네트워크(Region Reconstruction Network, RRN)를 훈련하고, 이러한 표현을 RGB 기반의 다중 척도 검출 네트워크(Multi-Scale Detection Network, MDN)로 전이함으로써 KAIST 데이터셋에서 최신 기술 수준의 성능을 달성하고 Caltech 데이터셋에서도 경쟁 가능한 결과를 얻는다. 추론 시에는 오직 RGB 입력만 필요하다.

ABSTRACT

This paper presents a novel method for detecting pedestrians under adverse illumination conditions. Our approach relies on a novel cross-modality learning framework and it is based on two main phases. First, given a multimodal dataset, a deep convolutional network is employed to learn a non-linear mapping, modeling the relations between RGB and thermal data. Then, the learned feature representations are transferred to a second deep network, which receives as input an RGB image and outputs the detection results. In this way, features which are both discriminative and robust to bad illumination conditions are learned. Importantly, at test time, only the second pipeline is considered and no thermal data are required. Our extensive evaluation demonstrates that the proposed approach outperforms the state-of- the-art on the challenging KAIST multispectral pedestrian dataset and it is competitive with previous methods on the popular Caltech dataset.

연구 동기 및 목표

• 그림자, 저조도 또는 혼잡한 배경으로 인해 RGB 전용 방법이 실패하는 악조건의 조명 조건에서의 보행자 검출 문제를 해결한다.
• 대규모 다중 모달 레이블이 부족한 데이터셋의 부족함을 보완하기 위해 열화상 모odal에서 보행자 바운딩 박스 레이블이 필요 없는 비지도 교차 모달 학습 방법을 개발한다.
• 실제 감시 및 로봇 시스템에 적용 가능하도록 추론 시 오직 RGB 데이터만 필요하게 함으로써 하드웨어 비용을 절감한다.
• 사전 훈련 단계에서 열화상 데이터를 자가 지도 학습의 형태로 활용하여 특징의 구분 능력을 향상시켜, 기둥이나 나무와 같은 어려운 음성 샘플에 대한 강건성을 높인다.

제안 방법

• 비지도 학습 방식으로 RGB 영상에서 해당하는 열화상 영상으로 재구성하는 데 사용되는 영역 재구성 네트워크(Region Reconstruction Network, RRN)를 훈련함으로써 모달 간 비선형 매핑을 학습한다.
• 사전 훈련된 RRN을 사용해 다중 척도 검출 네트워크(Multi-Scale Detection Network, MDN)를 초기화하고, RGB 영상에서 다중 척도 특징 추출을 사용하여 보행자 검출을 수행하기 위해 테스트를 수행한다.
• RRN에서 학습된 교차 모달 표현을 MDN으로 전이함으로써, 조도 변화에 강건한 특징을 학습할 수 있도록 검출 네트워크를 개선한다.
• 열화상 데이터는 훈련 시에만 사용되며, 최종 검출기는 추론 시 오직 RGB 입력에서만 작동하도록 함으로써 효율성을 확보한다.
• ACF(Edge-Boxes)를 통해 영역 제안을 수행하고, RGB 데이터에서 표준 검출 손실 함수를 사용해 MDN을 엔드 투 엔드로 훈련한다.
• 감시 시스템에서 확보한 대규모, 레이블이 없는 RGB-열화상 영상 쌍을 사용해 모델을 사전 훈련함으로써 고비용의 인간 레이블링 데이터 의존도를 최소화한다.

실험 결과

연구 질문

• RQ1 RGB 및 열화상 영상 쌍에서 비지도 교차 모달 학습을 통해 악조건의 조명 조건에서 보행자 검출의 강건성을 향상시킬 수 있는가?
• RQ2 열화상 모달에서 사전 훈련된 네트워크에서 전이된 지식이 RGB 전용 테스트 데이터에서 검출 성능을 얼마나 향상시킬 수 있는가?
• RQ3 제안된 방법이 KAIST 및 Caltech와 같은 벤치마크 데이터셋에서 기존 최신 기술 수준의 RGB 전용 보행자 검출기보다 우수한 성능을 내는가, 특히 도전적인 조명 조건에서 성능이 향상되는가?
• RQ4 보행자 레이블이 열화상 도메인에 필요 없이 효과적으로 적용될 수 있는가, 이는 레이블링 부담을 줄이는 데 기여하는가?
• RQ5 성능 향상은 교차 모달 표현 학습 때문인지, 단순히 모델 앙상블이나 데이터 증강 때문인가?

주요 결과

• 제안된 방법은 Caltech-All 데이터셋에서 64.01%의 미스 레이트를 기록하여 새로운 최신 기술 수준의 성능을 확립한다.
• KAIST 다중 스펙트럼 보행자 데이터셋에서 모든 이전 최신 기술 수준의 접근 방식을 능가하며, 악조건의 조명 조건에서 뛰어난 강건성을 입증한다.
• Caltech-Reasonable에서 10.69%의 미스 레이트를 기록하여 기존 최고의 방법들과 경쟁 가능한 성능을 달성한다.
• 교차 모달 사전 훈련으로 인한 성능 향상은 특히 저조도 조건에서 뚜렷하며, 열화상 데이터가 중요한 지도 신호를 제공한다.
• 모델은 계산적으로 효율적이며, 추론 시 1장의 영상을 0.59초 내에 처리하여 이전 최신 기술 수준의 방법들과 경쟁 가능한 성능을 보인다.
• 절단 실험 결과 성능 향상 요인이 교차 모달 특징 학습 때문이며, 데이터 셔플링이나 배치 크기 변화 때문이 아니라는 점을 확인했다. 다양한 배치 크기에서는 제안된 CMT-CNN보다 성능이 열등하다.