[論文レビュー] A Survey on Infrared Image and Video Sets

Kevser Irem Danaci, Erdem Akagündüz|arXiv (Cornell University)|Mar 16, 2022

Infrared Target Detection Methodologies被引用数 5

ひとこと要約

本調査では、コンピュータビジョンおよびAI研究のための109の公開または非公開赤外線（IR）画像および動画データセットを収集・分類している。各データセットのセンサータイプ、解像度、収集環境、応用分野について詳細な記述を提供するとともに、基礎的なIR画像化の原則についても解説し、非可視スペクトルデータを扱う研究者にとって包括的な参考資料を提供する。

ABSTRACT

In this survey, we compile a list of publicly available infrared image and video sets for artificial intelligence and computer vision researchers. We mainly focus on IR image and video sets which are collected and labelled for computer vision applications such as object detection, object segmentation, classification, and motion detection. We categorize 92 different publicly available or private sets according to their sensor types, image resolution, and scale. We describe each and every set in detail regarding their collection purpose, operation environment, optical system properties, and area of application. We also cover a general overview of fundamental concepts that relate to IR imagery, such as IR radiation, IR detectors, IR optics and application fields. We analyse the statistical significance of the entire corpus from different perspectives. We believe that this survey will be a guideline for computer vision and artificial intelligence researchers that are interested in working with the spectra beyond the visible domain.

研究の動機と目的

• コンピュータビジョンおよびAI研究のための、公開可能でかつ非公開の赤外線（IR）画像および動画データセットを一元化し、最新の状態を維持するリストの作成。
• 可視帯データセットに比べてアクセスが難しいIRデータセットの不足に取り組み、コスト、セキュリティ、知的財産権の懸念により、しばしば制限されていることへの対応。
• 研究者がデータセット選定を容易にするために、センサータイプ、解像度、スケール、応用分野ごとに109のIRデータセットを分類すること。
• 非可視スペクトル分野に従事する研究者が理解するのに不可欠な赤外線画像化の原則（IR放射、検出器、光学系、応用分野など）の基礎的概要を提供すること。
• 今後の研究におけるIRドメイン適応、マルチモーダル統合、熱画像および赤外線データにおけるディープラーニングの開発を支援するリファレンスガイドとしての役割を果たすこと。

提案手法

• 学術的な公開ソース（発表済みデータセットおよび非公開収集）から、109のIR画像および動画データセットを体系的に収集・キュレートすること。
• センサータイプ（例：LWIR、MWIR、NIR）、画像解像度、スケール（小、中、大）、応用分野（例：監視、医療、産業）に基づいてデータセットを分類すること。
• 各データセットの収集目的、運用環境、光学系仕様、アノテーション形式についての詳細なドキュメント作成。
• 非可視スペクトルに不慣れな研究者を支援するため、赤外線放射、IR検出器、IR光学、応用分野に関する基礎的背景を含めること。
• オブジェクトカテゴリ、アノテーションタイプ、センサ解像度、前処理手法などの次元において、全コーパスの統計的分析を実施すること。
• データアクセスおよび使用条件を示すために、標準化されたラベル（例：'pub' は公開、'rr' は制限付き研究、'mil.' は軍事、'sur.' は監視）の使用。

実験結果

リサーチクエスチョン

• RQ1 公開可能な赤外線画像および動画データセットの主な特徴（センサータイプ、解像度、スケール）は何か？
• RQ2 監視、産業モニタリング、医療画像診断などの異なる研究分野において、IRデータセットの収集環境および応用分野はどのように異なるか？
• RQ3 IRデータセットで最も一般的に見られるアノテーションタイプとオブジェクトカテゴリは何か？また、可視スペクトルデータセットと比較するとどうなるか？
• RQ4 IRデータを扱う前に理解しておくべき赤外線画像化の基本的原則は何か？
• RQ5 本調査でキュレートされたこのデータセットリストは、ドメイン適応やマルチモーダル統合などのIR固有のタスクに特化したディープラーニングモデルの開発をどのように支援できるか？

主な発見

• 本調査では、54の公開、43の制限付き研究、12の非公開収集を含む、合計109の赤外線画像および動画データセットを特定・記述している。
• 多数のデータセットが監視および軍事的応用（例：人物、車両、歩行者の検出）に焦点を当てており、42％のデータセットが 'mil.' または 'sur.' としてラベル付けされている。
• LWIR（長波長赤外線）センサが最も一般的で、68％のデータセットがこのバンドを使用している。次にMWIR（中波長赤外線）とNIR（近赤外線）が続く。
• 最も一般的な解像度は640×480で、27％のデータセットで使用されている。次に1280×960が18％のデータセットで使用されている。
• TRICLOBS、VAP、ViViD++ などの多くのデータセットは、マルチスペクトルまたはマルチモーダルデータ（熱画像、RGB、深度、時系列差分）を含んでおり、マルチモーダル学習を支援している。
• 本調査では、顔認識や医療画像診断などのタスクにおいて、大規模かつ高解像度で多様なアノテーションが施されたIRデータセットの欠如が顕著なギャップとして浮き彫りにされており、今後のデータ収集の必要性が示唆されている。