[논문 리뷰] Translation, Scale and Rotation: Cross-Modal Alignment Meets RGB-Infrared Vehicle Detection

Maoxun Yuan, Yinyan Wang외 1명|arXiv (Cornell University)|2022. 09. 28.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 항공 RGB-적외선(RGB-IR) 차량 검출에서 다중모달 간 약한 비일치 문제를 해결하기 위해 번역-스케일-회전 정렬(TSRA) 모듈을 제안한다. 이 문제는 모달 간 객체의 위치, 스케일, 방향이 다를 때 발생한다. 정렬 과정을 통해 이러한 편차를 예측하고 보정하고, 모달리티 선택 전략을 사용함으로써 TSFADet 검출기는 DroneVehicle 데이터셋에서 SOTA인 73.06% mAP를 달성한다. 이는 하드웨어 및 애너테이션 유도 비일치 요인을 해결함으로써 달성된다.

ABSTRACT

Integrating multispectral data in object detection, especially visible and infrared images, has received great attention in recent years. Since visible (RGB) and infrared (IR) images can provide complementary information to handle light variations, the paired images are used in many fields, such as multispectral pedestrian detection, RGB-IR crowd counting and RGB-IR salient object detection. Compared with natural RGB-IR images, we find detection in aerial RGB-IR images suffers from cross-modal weakly misalignment problems, which are manifested in the position, size and angle deviations of the same object. In this paper, we mainly address the challenge of cross-modal weakly misalignment in aerial RGB-IR images. Specifically, we firstly explain and analyze the cause of the weakly misalignment problem. Then, we propose a Translation-Scale-Rotation Alignment (TSRA) module to address the problem by calibrating the feature maps from these two modalities. The module predicts the deviation between two modality objects through an alignment process and utilizes Modality-Selection (MS) strategy to improve the performance of alignment. Finally, a two-stream feature alignment detector (TSFADet) based on the TSRA module is constructed for RGB-IR object detection in aerial images. With comprehensive experiments on the public DroneVehicle datasets, we verify that our method reduces the effect of the cross-modal misalignment and achieve robust detection results.

연구 동기 및 목표

• 항공 RGB-IR 객체 검출에서 가시광선 및 적외선 이미지 간 위치, 스케일, 방향 편차를 보이는 객체가 존재하는 다중모달 간 약한 비일치 문제를 규명하고 분석하는 것.
• 센서 비일치 등 하드웨어 제한과 쌍체 RGB-IR 항공 영상에서의 인간 애너테이션 오류로 인한 비일치 문제를 해결하는 것.
• 항공 영상에서 다중스펙트럼 검출 정확도를 향상시키기 위해 강력하고 엔드 투 엔드로 트레이닝 가능한 이중스트림 특징 정렬 검출기(TSFADet)를 개발하는 것.
• TSRA 모듈 및 그 구성 요소인 정렬 과정, 모달리티 선택 전략, 다중작업 저자화(Multi-task Jitter)의 실세계 항공 데이터셋에서의 효과를 평가하는 것.

제안 방법

• TSRA 모듈은 학습 가능한 정렬 과정을 통해 RGB 및 IR 특징 맵 간 이동, 스케일, 회전 편차를 예측하여 다중모달 비일치를 보정한다.
• 모달리티 선택(MS) 전략은 각 제안에 대해 가장 정확한 바운딩 박스 기준(_RGB 또는 IR_)을 동적으로 선택하여 노이지 애너테이션으로 인한 오류 전파를 줄인다.
• 다중작업 저자화 기법은 바운딩 박스에 무작위 편차를 적용하여 훈련 데이터를 증강함으로써 모델의 약한 비일치 입력에 대한 내성 강화를 도모한다.
• TSFADet 검출기는 TSRA 모듈을 이중스트림 특징 정렬 프레임워크에 통합하여 RGB-IR 객체 검출을 위한 엔드 투 엔드 트레이닝을 가능하게 한다.
• 이 방법은 백본으로 ResNet-50를 사용하고, 표준 데이터 증강 기법과 더불어 정밀한 국소화를 위한 이단계 검출 헤드를 사용해 훈련한다.
• 정렬 과정은 제안 마다 적용되어 모달 간 위치, 스케일, 각도 불일치를 세밀하게 보정할 수 있다.

실험 결과

연구 질문

• RQ1 항공 RGB-IR 객체 검출에서 위치, 스케일, 방향 편차 측면에서 다중모달 간 약한 비일치 문제의 원인이 무엇인가?
• RQ2 딥 러닝 모듈이 항공 영상에서 RGB 및 적외선 특징 간 결합된 이동, 스케일, 회전 편차를 효과적으로 보정할 수 있는가?
• RQ3 한 모달리티가 다른 모달리티보다 더 신뢰할 수 있는 애너테이션을 가질 경우, 모달리티 선택 전략이 정렬 정확도에 미치는 영향은 무엇인가?
• RQ4 다중작업 저자화 기법이 다양한 수준의 입력 비일치 상황에서 정렬 모듈의 내성 강화에 기여하는가?
• RQ5 제안된 TSRA 기반 검출기는 항공 RGB-IR 객체 검출 벤치마크에서 SOTA 성능을 달성하는가?

주요 결과

• TSFADet 검출기는 DroneVehicle 데이터셋에서 73.06% mAP를 달성하여 비교된 모든 최신 단일 및 다중모달 검출기들을 능가한다.
• 모달리티 선택 전략은 각 제안에 대해 가장 정확한 기준 모달리티를 선택함으로써 검출 성능을 크게 향상시키며, 노이지 애너테이션으로 인한 오류를 감소시킨다.
• 다중작업 저자화 기법은 다양한 비일치 패턴을 시뮬레이션함으로써 모델의 내성 강화를 이끌어내어 정렬 정확도 향상과 더 높은 mAP 달성에 기여한다.
• TSRA 모듈은 특히 임의의 객체 방향, 스케일 변화, 모달 간 위치 이동이 발생하는 경우 다중모달 비일치의 영향을 줄인다.
• Cascade R-CNN와 조합했을 때 TSFADet는 최고의 mAP 73.90%를 기록하여 강력한 일반화 능력과 확장성 잠재력을 입증한다.
• 단일 GPU에서 18.6 FPS의 경쟁적인 추론 속도를 유지하여 정확도는 한층 높이고 실시간 응용에 실용적인 성능을 제공한다.