[논문 리뷰] Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection

Lu Zhang, Xiangyu Zhu외 4명|arXiv (Cornell University)|2019. 01. 09.

Video Surveillance and Tracking Methods참고 문헌 67인용 수 25

한 줄 요약

이 논문은 위치 이동으로 인해 약하게 정렬된 색상-열화상 이미지 쌍으로 인한 비정상적인 정렬 문제를 해결하기 위해, 다중스펙트럼 보행자 검출을 위한 새로운 엔드 투 엔드 프레임워크인 AR-CNN을 제안한다. 이는 영역 특징 정렬(RFA) 모듈을 도입하여 공간적 이탈을 예측하고 보정하고, 신뢰도를 고려한 융합 방법을 통해 특징 재가중을 적응적으로 수행하며, RoI 저자국 전략을 통해 강인성을 향상시킨다. KAIST 및 CVC-14 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하면서 이격 변동에 대한 민감도가 크게 감소하였다.

ABSTRACT

Multispectral pedestrian detection has shown great advantages under poor illumination conditions, since the thermal modality provides complementary information for the color image. However, real multispectral data suffers from the position shift problem, i.e. the color-thermal image pairs are not strictly aligned, making one object has different positions in different modalities. In deep learning based methods, this problem makes it difficult to fuse the feature maps from both modalities and puzzles the CNN training. In this paper, we propose a novel Aligned Region CNN (AR-CNN) to handle the weakly aligned multispectral data in an end-to-end way. Firstly, we design a Region Feature Alignment (RFA) module to capture the position shift and adaptively align the region features of the two modalities. Secondly, we present a new multimodal fusion method, which performs feature re-weighting to select more reliable features and suppress the useless ones. Besides, we propose a novel RoI jitter strategy to improve the robustness to unexpected shift patterns of different devices and system settings. Finally, since our method depends on a new kind of labelling: bounding boxes that match each modality, we manually relabel the KAIST dataset by locating bounding boxes in both modalities and building their relationships, providing a new KAIST-Paired Annotation. Extensive experimental validations on existing datasets are performed, demonstrating the effectiveness and robustness of the proposed method. Code and data are available at https://github.com/luzhang16/AR-CNN.

연구 동기 및 목표

• 색상 및 열화상 영상 간 기하학적 정렬이 이루어지지 않는 실세계 다중스펙트럼 보행자 검출에서의 위치 이동 문제를 해결한다.
• 기존 데이터셋이 편향되거나 단일 모odal의 애너테이션을 사용함으로써 CNN 기반 검출기 성능이 떨어지는 문제를 해결한다.
• 정밀한 캘리브레이션 없이도 정렬되지 않은 모달 간 특징을 효과적으로 융합할 수 있는 엔드 투 엔드 딥 러닝 프레임워크를 개발한다.
• 데이터 증강 및 적응형 특징 학습을 통해 다양한 센서 및 시스템 설정에서 예측 불가능한 이격 패턴에 대한 강인성을 향상시킨다.
• 미래 연구를 지원하기 위해 각 모달에 대해 별도의 바운딩 박스를 가진 KAIST 데이터셋용 새로운 고품질 쌍체 애너테이션을 제공한다.

제안 방법

• 색상 및 열화상 모달의 특징맵 간 공간적 이격을 학습 가능한 오프셋 예측 헤드를 사용하여 예측하고 보정하는 영역 특징 정렬(RFA) 모듈을 제안한다.
• 신뢰도에 따라 각 모달의 특징을 적응적으로 재가중하는 신뢰도 기반 융합 메커니즘을 도입하여 특징 표현 품질을 향상시킨다.
• 학습 중에 RoI를 무작위로 변형시켜 다양한 이격 패턴을 시뮬레이션하고, 실제 이격에 대한 일반화 능력을 향상시키기 위해 RoI 저자국 학습 전략을 활용한다.
• 모달 별 특징을 추출하기 위해 두 개의 스트림 백본 네트워크(ResNet-50)를 설계하고, RFA 및 융합 모듈을 거쳐 공동 검출을 수행한다.
• 분류, 박스 회귀 및 RFA 오프셋 예측을 통합한 다중 과제 손실 함수를 사용하여 모델을 엔드 투 엔드로 학습시킨다.
• 20,025개 프레임에 걸쳐 59,812명의 보행자를 수동으로 레이블링하여 각 모달에 대해 별도의 바운딩 박스와 대응 관계를 가지는 새로운 KAIST-Paired 애너테이션을 구축한다.

실험 결과

연구 질문

• RQ1 객체가 다른 공간적 위치에 나타나는 약하게 정렬된 다중스펙트럼 영상에서 딥 러닝 모델이 어떻게 효과적으로 특징을 융합할 수 있는가?
• RQ2 학습 가능한 정렬 모듈이 다중스펙트럼 보행자 검출에서 위치 이동으로 인한 성능 저하를 어느 정도 감소시킬 수 있는가?
• RQ3 RoI 저자국 전략은 다양한 하드웨어 및 시스템 설정에서 예측 불가능한 이격 패턴에 대한 모델 강인성을 향상시키는 데 기여하는가?
• RQ4 신뢰도 기반 특징 융합 방식은 단순한 연결 또는 원소별 연산 대비 검출 정확도를 얼마나 향상시키는가?
• RQ5 고품질의 쌍체 애너테이션(KAIST-Paired)은 다중스펙트럼 보행자 검출기의 학습 및 평가에 어떤 영향을 미치는가?

주요 결과

• 제안된 AR-CNN은 KAIST 데이터셋에서 최신 기술 수준 성능을 달성하여 원점에서 평균 순위 10 오차(MR T)를 9.87로 감소시켰다.
• RFA 모듈은 위치 이동 하에서 성능 변동을 크게 감소시켜 45° 이격 패턴에서 MR T의 표준편차를 9.77에서 1.24로 8.53점 감소시켰다.
• RoI 저자국 전략은 평균 성능 향상보다는 이격 패턴 간 성능의 표준편차를 줄여주어 일반화 능력 향상에 기여함을 보여주었다.
• 신뢰도 기반 융합 방법은 기준 모델 대비 원점에서 MR T를 1.61점 감소시켜 신뢰할 수 있는 특징 선택의 효과를 입증하였다.
• 59,812명의 수동 레이블링된 보행자와 20,025개 프레임을 포함한 새로운 KAIST-Paired 애너테이션은 향후 약하게 정렬된 다중스펙트럼 검출 연구를 위한 고품질 벤치마크를 제공한다.
• 광범위한 아블레이션 연구를 통해 RFA, RoI 저자국, 그리고 신뢰도 기반 융합 모두가 정확도 향상과 강인성 향상에 상호보완적으로 기여함을 확인하였다.