[논문 리뷰] Illumination-aware Faster R-CNN for Robust Multispectral Pedestrian Detection

Chengyang Li, Dan Song외 2명|arXiv (Cornell University)|2018. 03. 14.

Remote-Sensing Image Classification참고 문헌 44인용 수 20

한 줄 요약

이 논문은 일조 조건을 고려한 게이팅 메커니즘을 사용하여 색상 및 열화상 특징을 적응적으로 융합하는 다중스펙트럼 보행자 검출 프레임워크인 일조 조건 인식 Faster R-CNN(IAF R-CNN)을 제안한다. IAN 기반 네트워크를 통해 일조 조건을 추정하고, 모odal 기여도를 동적으로 가중함으로써 IAF R-CNN는 도전적인 조명 조건에서 KAIST 다중스펙트럼 벤치마크에서 기존 방법보다 최대 5.03% 향상된 MR^I 성능을 달성한다.

ABSTRACT

Multispectral images of color-thermal pairs have shown more effective than a single color channel for pedestrian detection, especially under challenging illumination conditions. However, there is still a lack of studies on how to fuse the two modalities effectively. In this paper, we deeply compare six different convolutional network fusion architectures and analyse their adaptations, enabling a vanilla architecture to obtain detection performances comparable to the state-of-the-art results. Further, we discover that pedestrian detection confidences from color or thermal images are correlated with illumination conditions. With this in mind, we propose an Illumination-aware Faster R-CNN (IAF RCNN). Specifically, an Illumination-aware Network is introduced to give an illumination measure of the input image. Then we adaptively merge color and thermal sub-networks via a gate function defined over the illumination value. The experimental results on KAIST Multispectral Pedestrian Benchmark validate the effectiveness of the proposed IAF R-CNN.

연구 동기 및 목표

• 다양한 일조 조건, 특히 저조도 또는 야간 환경에서의 견고한 보행자 검출 문제를 해결하기 위해.
• Faster R-CNN 기반 검출기에서 다중스펙트럼(색상-열화상) 특징을 위한 효과적인 융합 전략을 탐구하기 위해.
• 일조 수준에 따라 적응하는 동적 융합 메커니즘을 개발하여 다양한 조명 조건에서의 검출 신뢰도를 향상시키기 위해.
• 다중스펙트럼 보행자 검출을 위한 여러 합성곱 네트워크 융합 아키텍처를 평가하고 비교하기 위해.
• 일조 조건 인식 융합이 고정 또는 히우리스틱 융합 전략에 비해 성능 향상에 크게 기여함을 입증하기 위해.

제안 방법

• 일광/야간 이진 레이블만을 사용하여 입력 이미지의 일조 수준을 추정하기 위해 일조 조건 인식 네트워크(IAN)를 훈련시킨다.
• 일조 측정치를 바탕으로 모달별 가중치를 계산하는 게이트 함수를 통해 색상 및 열화상 하위 네트워크 출력의 동적 융합을 가능하게 한다.
• 색상 및 열화상 하위 네트워크는 통합된 Faster R-CNN 프레임워크 내에서 일조 조건 인식 융합 모듈과 함께 공동으로 훈련된다.
• 저조도 조건에서는 열화상 네트워크의 가중치를 적응적으로 증가시키고, 잘 밝은 조건에서는 색상 특징을 우선시한다.
• 세 가지 일조 추정 방법(Key, Range, IAN)을 평가하였으며, IAN이 복잡한 실외 환경에서 더 뛰어난 일반화 성능을 보였다.
• 모델은 엔드 투 엔드로 훈련 가능하여 특징 추출, 일조 추정, 융합 게이팅의 공동 최적화를 허용한다.

실험 결과

연구 질문

• RQ1 Faster R-CNN에서 파생된 다양한 다중스펙트럼 융합 아키텍처는 보행자 검출 성능과 적응성 측면에서 어떻게 비교되는가?
• RQ2 일조 조건이 색상 모달과 열화상 모달의 신뢰성에 얼마나 큰 영향을 미치는가?
• RQ3 일조 조건 인식 융합 메커니즘이 다양한 조명 조건에서 검출의 견고성을 향상시킬 수 있는가?
• RQ4 제안된 일조 조건 인식 가중치 전략은 고정 가중치(예: 평균) 또는 임계값 기반(고정 0-1) 융합 전략보다 어떻게 비교되는가?
• RQ5 약한 레이블(day/night)로 훈련된 경량 일조 추정기로 실생활 다중스펙트럼 검출에서 모달 융합을 효과적으로 이끌 수 있는가?

주요 결과

• 제안된 IAF R-CNN는 KAIST 다중스펙트럼 보행자 검출 벤치마크에서 기존 방법을 능가하는 최고 성능을 달성한다.
• 일조 조건 인식 가중치 메커니즘은 평균 가중치 대비 0.67% 향상된 성능과 하드 0-1 가중치 대비 5.03% 향상된 MR^I 성능을 기록한다.
• IAN을 통한 일조 추정은 복잡한 실외 환경에서 Key나 Range 방법보다 유의미하게 뛰어난 결과를 얻었다.
• 모델은 낮과 야간 조건 모두에서 견고성을 보이며, 저조도 시나리오에서는 열화상 모달을 우선시하는 동적 융합을 통해 성능 향상을 보였다.
• 기본적인 다중스펙트럼 Faster R-CNN는 적절히 조정된 후 최고 성능에 가까운 성능을 달성했으며, 이는 기본 아키텍처의 잠재력이 매우 높음을 시사한다.
• 시각화 결과는 학습된 게이트 함수가 추정된 일조 수준에 따라 모달 가중치를 효과적으로 조정하며 직관적인 기대와 일치함을 확인했다.