[논문 리뷰] Surveying You Only Look Once (YOLO) Multispectral Object Detection Advancements, Applications And Challenges

James Gallagher, Edward J. Oughton|arXiv (Cornell University)|2024. 09. 03.

Infrared Target Detection Methodologies인용 수 4

한 줄 요약

이 논문은 RGB 및 장파적외선(LWIR) 융합 기반 YOLO 기반 객체 검출의 발전을 분석한 200篇의 다중스펙트럼 YOLO 논문에 대한 종합적인 메타리뷰를 제시한다. YOLOv5가 가장 널리 사용되는 변종임을 확인하였으며, 지상 기반 데이터 수집이 지배적(63%)임을 밝히고, 중국이 주요 연구 허브(모든 연구의 58%)임을 지적하며, 적응형 아키텍처, 합성 데이터 생성, 전이 학습, RGB-LWIR 이외의 다중 센서 융합 분야의 주요 과제와 향후 방향성을 제시한다.

ABSTRACT

Multispectral imaging and deep learning have emerged as powerful tools supporting diverse use cases from autonomous vehicles, to agriculture, infrastructure monitoring and environmental assessment. The combination of these technologies has led to significant advancements in object detection, classification, and segmentation tasks in the non-visible light spectrum. This paper considers 400 total papers, reviewing 200 in detail to provide an authoritative meta-review of multispectral imaging technologies, deep learning models, and their applications, considering the evolution and adaptation of You Only Look Once (YOLO) methods. Ground-based collection is the most prevalent approach, totaling 63% of the papers reviewed, although uncrewed aerial systems (UAS) for YOLO-multispectral applications have doubled since 2020. The most prevalent sensor fusion is Red-Green-Blue (RGB) with Long-Wave Infrared (LWIR), comprising 39% of the literature. YOLOv5 remains the most used variant for adaption to multispectral applications, consisting of 33% of all modified YOLO models reviewed. 58% of multispectral-YOLO research is being conducted in China, with broadly similar research quality to other countries (with a mean journal impact factor of 4.45 versus 4.36 for papers not originating from Chinese institutions). Future research needs to focus on (i) developing adaptive YOLO architectures capable of handling diverse spectral inputs that do not require extensive architectural modifications, (ii) exploring methods to generate large synthetic multispectral datasets, (iii) advancing multispectral YOLO transfer learning techniques to address dataset scarcity, and (iv) innovating fusion research with other sensor types beyond RGB and LWIR.

연구 동기 및 목표

• 400편의 논문 중 200편을 선별해 YOLO 기반 다중스펙트럼 객체 검출 분야에 대한 체계적인 메타리뷰를 제공하기 위해.
• 다양한 분야에서 다중스펙트럼 영상에 대한 YOLO의 진화, 응용 및 기술적 과제를 분석하기 위해.
• 현재 연구에서 지배적인 데이터 수집 방법, 센서 융합 패턴, YOLO 모델 변종을 규명하기 위해.
• 특히 중국과 비중국 연구 성과를 비교함으로써 지역별 연구 분포와 품질을 평가하기 위해.
• 적응형 아키텍처, 합성 데이터, 전이 학습, RGB와 LWIR 이외의 다중 센서 융합을 포함한 향후 연구 방향을 제시하기 위해.

제안 방법

• 400편의 논문을 대상으로 체계적 문헌 검토를 수행하였으며, 다중스펙트럼 YOLO 연구의 권위 있는 커버리지 확보를 위해 200편을 심층 분석하였다.
• 연구는 데이터 수집 방법(예: 지상 기반, UAS), 센서 융합 유형(예: RGB-LWIR), YOLO 모델 변종(예: YOLOv5)으로 분류되었다.
• 연구 성과는 기원지별로 분석되었으며, 연구 품질의 지표로 저널 영향력 지수를 사용하였다.
• 검토된 문헌 전반에서 센서 융합, 모델 적응, 응용 분야의 추세를 정량화하고 시각화하였다.
• 아키텍처 적응성의 격차, 데이터 부족, RGB와 LWIR 이외의 다중 센서 통합의 제한 등에서 유래된 향후 연구 필요성을 도출하였다.
• 발간 추세, 모델 보편성, 지역 기여도의 통계적 요약을 활용해 권고안을 도출하였다.

실험 결과

연구 질문

• RQ1 YOLO 기반 다중스펙트럼 객체 검출에서 지배적인 데이터 수집 방법과 센서 융합 구성은 무엇인가?
• RQ2 다중스펙트럼 응용에 가장 자주 사용되는 YOLO 변종은 무엇이며, 시간이 지남에 따라 어떻게 변화해 왔는가?
• RQ3 다중스펙트럼 YOLO 연구의 지리적 분포는 어떠한가? 지역 간 연구 품질은 어떻게 비교되는가?
• RQ4 현재 다중스펙트럼 YOLO 연구에서 주요 기술적 과제와 제약은 무엇인가?
• RQ5 다중스펙트럼 YOLO 객체 검출 분야의 발전을 위해 가장 중요한 향후 연구 방향은 무엇인가?

주요 결과

• 지상 기반 데이터 수집이 가장 널리 퍼진 방법으로, 검토된 연구의 63%를 차지하며, 2020년 이후 무인 항공 시스템(UAS) 사용이 두 배로 증가하였다.
• RGB-LWIR 융합이 가장 일반적인 센서 조합으로, 문헌의 39%를 차지한다.
• YOLOv5는 다중스펙트럼 적응에 가장 널리 사용되는 YOLO 변종으로, 검토된 모든 수정된 YOLO 모델의 33%를 차지한다.
• 중국은 다중스펙트럼 YOLO 연구에서 선도적 위치를 차지하며, 모든 연구의 58%를 기여하였으며, 평균 저널 영향력 지수는 4.45로 비중국 연구(4.36)와 유사하다.
• 다양한 스펙트럼 입력을 처리할 수 있도록 설계된 YOLO 아키텍처 개발에 큰 연구 격차가 존재하며, 이는 광범위한 아키텍처 재작업을 수반한다.
• 향후 연구는 합성 데이터 생성, 데이터 부족 상황에서의 개선된 전이 학습, RGB와 LWIR 이외의 센서 융합을 우선순위로 삼아야 한다.