[논문 리뷰] Improving Multispectral Pedestrian Detection by Addressing Modality Imbalance Problems

Kailai Zhou, Linsen Chen외 1명|arXiv (Cornell University)|2020. 08. 07.

Video Surveillance and Tracking Methods참고 문헌 49인용 수 15

한 줄 요약

이 논문은 RGB-열화상 융합에서의 모odal 불균형 문제를 해결하기 위해 차별적 모달 인식 융합(DMAF) 모듈과 조명 인지 특성 정렬 기법을 도입한 일단계 다중스펙트럼 보행자 검출기인 Modality Balance Network(MBNet)을 제안한다. MBNet는 다양한 조도 조건에서 균형 잡히고 적응적인 모달 융합을 가능하게 하여 KAIST 및 CVC-14 데이터셋에서 최신 기술 수준(SOTA)의 정확도와 효율성을 달성한다.

ABSTRACT

Multispectral pedestrian detection is capable of adapting to insufficient illumination conditions by leveraging color-thermal modalities. On the other hand, it is still lacking of in-depth insights on how to fuse the two modalities effectively. Compared with traditional pedestrian detection, we find multispectral pedestrian detection suffers from modality imbalance problems which will hinder the optimization process of dual-modality network and depress the performance of detector. Inspired by this observation, we propose Modality Balance Network (MBNet) which facilitates the optimization process in a much more flexible and balanced manner. Firstly, we design a novel Differential Modality Aware Fusion (DMAF) module to make the two modalities complement each other. Secondly, an illumination aware feature alignment module selects complementary features according to the illumination conditions and aligns the two modality features adaptively. Extensive experimental results demonstrate MBNet outperforms the state-of-the-arts on both the challenging KAIST and CVC-14 multispectral pedestrian datasets in terms of the accuracy and the computational efficiency. Code is available at https://github.com/CalayZhou/MBNet.

연구 동기 및 목표

• 다중스펙트럼 보행자 검출에서 발생하는 모달 불균형 문제, 특히 조도 모달 불균형과 특성 모달 불균형을 규명하고 분석하는 것.
• 다양한 조도 조건에서 RGB와 열화상 브랜치가 균형 잡힌 기여를 할 수 있도록 双모달 네트워크의 최적화 과정을 향상시키는 것.
• 과도한 레이어나 계산 비용 없이도 교차 모달 보완성을 명시적으로 포착하고 중복을 최소화함으로써 특성 융합을 향상시키는 것.
• 낮과 밤의 다양한 환경에서도 높은 정확도와 효율성을 유지할 수 있는 견고한 일단계 검출기 설계

제안 방법

• RGB와 열화상 모달 특성맵 간의 보완적 특성을 명시적으로 학습하고 융합하기 위해 각 ResNet 블록에 Differential Modality Aware Fusion(DMAF) 모듈을 삽입한다.
• 이중선형 보간을 사용하여 RGB와 열화상 특성을 공간적으로 정렬하는 조도 인지 특성 정렬 모듈을 도입하여 각 공간 위치에서 균형 잡힌 표현을 확보한다.
• 백본에서 조도 게이트 메커니즘을 활용해 장면의 조도에 따라 RGB와 열화상 특성을 동적으로 가중함으로써 적응형 융합을 가능하게 한다.
• 다양한 해상도의 특성과 균형 잡힌 모달 융합 특성을 통합하면서도 계산 효율성을 유지하기 위해 일단계 SSD 기반 검출기 프레임워크를 사용한다.
• 영역 제안 단계에서 조도 조건에 따라 RGB 및 열화상 스트림의 예측을 융합함으로써 적응형 특성 보완을 적용한다.
• 기울기 불균형을 완화하고 수렴을 향상시키기 위해 모달 균형 손실 함수를 사용하여 네트워크를 최적화한다.

실험 결과

연구 질문

• RQ1 모달 불균형, 특히 조도 및 특성 모달 불균형은 다중스펙트럼 보행자 검출기의 성능에 어떤 영향을 미치는가?
• RQ2 DMAF와 같은 명시적이고 학습 가능한 융합 기법은 계산 비용을 증가시키지 않고도 특성 통합을 향상시킬 수 있는가?
• RQ3 조도 인지 특성 정렬 기법은 낮과 밤의 검출 성능 격차를 어느 정도 줄일 수 있는가?
• RQ4 조도에 따라 모달을 적응적으로 가중하는 방식은 다양한 조도 조건에서 더 견고하고 균형 잡힌 검출을 가능하게 하는가?
• RQ5 일단계 검출기로도 다중스펙트럼 보행자 검출에서 최신 기술 수준의 성능을 달성하면서도 높은 추론 효율성을 유지할 수 있는가?

주요 결과

• MBNet는 KAIST 합리적 세트에서 8.13%의 미스 레이트를 기록하여, 동일한 평가 프로토콜 하에서 이전 SOTA 방법인 Park 등(9.86%)과 AR-CNN(22.1%)을 초월한다.
• 조도 인지 특성 정렬 모듈은 기준 모델 대비 야간 시험에서 미스 레이트를 10.17%에서 7.86%로 감소시켜 낮과 밤의 성능 격차를 크게 좁혔다.
• DMAF 모듈은 추가 파라미터 없이도 최소한의 계산 비용으로도 검출 정확도를 향상시켜 RGB와 열화상 특성의 효율적인 깊이 융합을 가능하게 하였다.
• 조도 게이트 메커니즘은 낮에는 RGB를 우선적으로, 야간에는 열화상을 우선적으로 활용함으로써 다양한 조도 조건에서의 견고성을 향상시켰다.
• 제거 실험 결과, DMAF와 모달 정렬 모듈이 성능 향상에 필수적임을 확인하였으며, 두 모듈의 조합이 가장 우수한 성능을 내었다.
• MBNet는 복잡한 융합 기법을 추가함에도 불구하고 높은 계산 효율성을 유지하며 추론 속도를 그대로 유지하였다.