[논문 리뷰] Multi-Channel CNN-based Object Detection for Enhanced Situation Awareness

Shuo Liu, Zheng Liu|arXiv (Cornell University)|2017. 11. 30.

Advanced Neural Network Applications참고 문헌 21인용 수 42

한 줄 요약

이 논문은 가시광선, 중간파적외선(MWIR), 그리고 운동 정보를 융합하여 삼채널 입력으로 사용하는 다중채널 CNN 기반의 목표물 검출 프레임워크를 제안한다. 이는 군사 목표물 검출 성능을 향상시키기 위한 것이다. SENSIAC 데이터셋에서 비지도 이미지 융합 및 전이학습을 활용함으로써, 이 방법은 98.34% 평균 정밀도와 98.90% 상위-1 정확도를 달성하였으며, 단일 모odal 또는 결합 수준 융합 방법보다 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

Object Detection is critical for automatic military operations. However, the performance of current object detection algorithms is deficient in terms of the requirements in military scenarios. This is mainly because the object presence is hard to detect due to the indistinguishable appearance and dramatic changes of object's size which is determined by the distance to the detection sensors. Recent advances in deep learning have achieved promising results in many challenging tasks. The state-of-the-art in object detection is represented by convolutional neural networks (CNNs), such as the fast R-CNN algorithm. These CNN-based methods improve the detection performance significantly on several public generic object detection datasets. However, their performance on detecting small objects or undistinguishable objects in visible spectrum images is still insufficient. In this study, we propose a novel detection algorithm for military objects by fusing multi-channel CNNs. We combine spatial, temporal and thermal information by generating a three-channel image, and they will be fused as CNN feature maps in an unsupervised manner. The backbone of our object detection framework is from the fast R-CNN algorithm, and we utilize cross-domain transfer learning technique to fine-tune the CNN model on generated multi-channel images. In the experiments, we validated the proposed method with the images from SENSIAC (Military Sensing Information Analysis Centre) database and compared it with the state-of-the-art. The experimental results demonstrated the effectiveness of the proposed method on both accuracy and computational efficiency.

연구 동기 및 목표

• 외형과 크기가 극적으로 변하는 복잡한 전장 환경에서 작은, 저대비 군사 목표물을 탐지하는 데 도전하는 문제를 해결한다.
• 학습 데이터가 제한되고 임베디드 군사 플랫폼에서 일반적인 계산 자원이 제약받는 상황에서 목표물 검출 성능을 향상시킨다.
• 가시광선, 열화상(MWIR), 그리고 운동(단기 시간적) 영상 모odal 간 상보적인 정보를 융합하여 상황 인식 능력을 향상시킨다.
• 이미지 융합을 상태별 최신 CNN 기반 목표물 검출과 통합하는 비지도, 종단 간 훈련 가능한 프레임워크를 개발한다.
• 전이학습 및 다중스펙트럼 융합을 통해 실시간 임베디드 시스템에 배치 가능한 정확도와 계산 효율성을 최적화한다.

제안 방법

• 가시광선, 중간파적외선(MWIR), 그리고 운동(단기 시간 차이)이라는 세 가지 입력 모달을 하나의 삼채널 이미지로 융합하여 CNN 입력으로 사용한다.
• 공간적 및 강도 특성을 유지하면서 가시광선과 MWIR 이미지를 융합하기 위해 가중 평균 전략을 사용하는 비지도 픽셀 수준의 이미지 융합을 적용한다.
• 목표물 검출을 위한 백본으로 fast R-CNN 아키텍처를 사용하며, 영역 제안 네트워크(RPN)와 ROI 풀링을 통해 바운딩 박스 예측을 수행한다.
• 다른 도메인 전이학습을 활용: 대규모 가시광선 이미지 데이터셋(예: ImageNet)에서 사전 훈련한 후, 더 작은 융합된 SENSIAC 데이터셋에서 미세조정하여 데이터 부족 문제를 완화한다.
• 최종 합성곱층의 특징 맵을 시각화하여 융합된 특징이 목표물 표현과 검출 신뢰도를 향상시킨다는 것을 검증한다.
• 성능 상호 비교를 위해 독립적인 단일 모달 검출, 두 채널 융합(가시광선+MWIR), 결정 수준 융합과의 성능 차이를 평가한다.

실험 결과

연구 질문

• RQ1 가시광선, 열화상(MWIR), 그리고 운동 정보의 융합이 복잡한 군사 시나리오에서 목표물 검출 정확도를 향상시킬 수 있는가?
• RQ2 비지도 다중스펙트럼 이미지 융합은 단일 모달 입력에 비해 CNN 기반 목표물 검출기 성능에 어떤 영향을 미치는가?
• RQ3 대규모 가시광선 데이터셋에서의 전이학습이 작은 융합된 군사 이미지 데이터셋에서의 검출 성능 향상에 기여하는가?
• RQ4 제안된 융합 방법은 결정 수준 융합 및 단일 모달 검출에 비해 정확도와 추론 속도 측면에서 어떻게 비교되는가?
• RQ5 다중채널 입력 융합이 작은 또는 저대비 군사 목표물의 특징 표현을 어느 정도 향상시키는가?

주요 결과

• 제안된 삼채널 융합 방법은 98.34% 평균 정밀도와 98.90% 상위-1 정확도를 달성하여 테스트된 모든 다른 방법보다 뛰어난 성능을 보였다.
• 가시광선-MWIR 이중채널 융합은 97.37% AP를 기록하여 단일 모달 검출보다 향상되었지만, 전체 삼채널 융합보다는 낮았다.
• 단일 가시광선 이미지 검출기는 97.31% AP를 기록하여 강력한 기준 성능을 보였지만, 다중채널 융합에 비해 열등했다.
• 결정 수준 융합은 97.52% AP를 기록했지만, 이미지당 3.961초가 소요되어 실시간 사용에 부적합한 것으로 나타났다.
• 삼채널 방법은 2,812개의 테스트 프레임 중 오직 16개의 가짜 양성으로서의 오류를 기록하여 높은 검출 신뢰도를 보였다.
• 특징 맵의 시각화 결과, 융합된 입력이 특히 작은 또는 저대비 목표물의 표현을 향상시킨다는 것이 확인되었다.