[論文レビュー] Surveying You Only Look Once (YOLO) Multispectral Object Detection Advancements, Applications And Challenges

James Gallagher, Edward J. Oughton|arXiv (Cornell University)|Sep 3, 2024

Infrared Target Detection Methodologies被引用数 4

ひとこと要約

本論文は、200篇のマルチスペクトル YOLO 論文を包括的にレビューし、RGB および長波長赤外線（LWIR）統合を含む YOLO を用いた物体検出分野における進歩を分析している。YOLOv5 が最も広く採用されている。地上ベースのデータ収集が主流（63%）、中国が研究の中心（58%の研究）、アダプティブアーキテクチャ、合成データ生成、トランスファーラーニング、RGB-LWIR 以外のマルチセンサーフュージョンを含む、主な課題と今後の方向性が明らかにされた。

ABSTRACT

Multispectral imaging and deep learning have emerged as powerful tools supporting diverse use cases from autonomous vehicles, to agriculture, infrastructure monitoring and environmental assessment. The combination of these technologies has led to significant advancements in object detection, classification, and segmentation tasks in the non-visible light spectrum. This paper considers 400 total papers, reviewing 200 in detail to provide an authoritative meta-review of multispectral imaging technologies, deep learning models, and their applications, considering the evolution and adaptation of You Only Look Once (YOLO) methods. Ground-based collection is the most prevalent approach, totaling 63% of the papers reviewed, although uncrewed aerial systems (UAS) for YOLO-multispectral applications have doubled since 2020. The most prevalent sensor fusion is Red-Green-Blue (RGB) with Long-Wave Infrared (LWIR), comprising 39% of the literature. YOLOv5 remains the most used variant for adaption to multispectral applications, consisting of 33% of all modified YOLO models reviewed. 58% of multispectral-YOLO research is being conducted in China, with broadly similar research quality to other countries (with a mean journal impact factor of 4.45 versus 4.36 for papers not originating from Chinese institutions). Future research needs to focus on (i) developing adaptive YOLO architectures capable of handling diverse spectral inputs that do not require extensive architectural modifications, (ii) exploring methods to generate large synthetic multispectral datasets, (iii) advancing multispectral YOLO transfer learning techniques to address dataset scarcity, and (iv) innovating fusion research with other sensor types beyond RGB and LWIR.

研究の動機と目的

• YOLOベースのマルチスペクトル物体検出に関する400篇の論文のうち200篇を対象とした体系的メタレビューを提供すること。
• 多様な分野におけるマルチスペクトル画像処理における YOLO の進化、応用、技術的課題を分析すること。
• 現在の研究における主なデータ収集方法、センサーフュージョンパターン、YOLO モデルバリアントを特定すること。
• 中国および非中国研究出力の比較を含め、地域別の研究分布と研究品質を評価すること。
• アダプティブアーキテクチャ、合成データ、トランスファーラーニング、およびRGB-LWIR以外のマルチセンサーフュージョンを含む、今後の研究方向性を提示すること。

提案手法

• 400篇の論文を対象とした体系的文献レビューを実施し、200篇を詳細に分析することで、マルチスペクトル YOLO 研究の包括的かつ信頼性の高いカバーを確保した。
• 研究をデータ収集方法（例：地上ベース、UAS）、センサーフュージョンタイプ（例：RGB-LWIR）、YOLO モデルバリアント（例：YOLOv5）別に分類した。
• 研究出力の地理的起源を分析し、ジャーナルインパクトファクターを研究品質の代理指標として用いた。
• 文献レビュー全体を通じて、センサーフュージョン、モデル適応、応用分野のトレンドを定量的に分析・可視化した。
• アーキテクチャの適応性の欠如、データ不足、RGB および LWIR を超えるマルチセンサーフュージョンの限界といったギャップから、今後の研究ニーズを導出した。
• 出版トレンド、モデルの普及度、地域的貢献度の統計的要約を用いて、提言を支援した。

実験結果

リサーチクエスチョン

• RQ1 YOLOベースのマルチスペクトル物体検出における主なデータ収集方法とセンサーフュージョン構成は何か？
• RQ2 マルチスペクトル応用に最も頻繁に採用されている YOLO バリアントは何か？また、その傾向は時間経過とともにどのように変化したか？
• RQ3 マルチスペクトル YOLO 研究の地理的分布はどのようになっており、地域間での研究品質はどのように比較できるか？
• RQ4 現在のマルチスペクトル YOLO 研究における主な技術的課題と制限要因は何か？
• RQ5 マルチスペクトル YOLO 物体検出分野を前進させるために、最も重要な今後の研究方向性は何か？

主な発見

• 地上ベースのデータ収集が最も一般的で、調査された研究の63%を占めている。2020年以降、無人航空機システム（UAS）の使用は2倍に増加した。
• RGB-LWIR フュージョンが最も一般的なセンサーコンビネーションであり、文献全体の39%を占める。
• YOLOv5 がマルチスペクトル応用に最も広く採用されており、調査されたすべての変更済み YOLO モデルの33%を占める。
• 中国がマルチスペクトル YOLO 研究をリードしており、全研究の58%を占め、平均ジャーナルインパクトファクターは4.45であり、非中国研究（4.36）と同等の水準である。
• 多様なスペクトル入力を処理できる YOLO アーキテクチャの開発に、顕著な研究ギャップが存在する。特に、大幅なアーキテクチャ再設計を要しない手法が求められる。
• 今後の研究は、合成データ生成、データが乏しい状況における改善されたトランスファーラーニング、およびRGBとLWIRを超えるセンサーフュージョンの強化を最優先すべきである。