[论文解读] A Survey on Infrared Image and Video Sets

Kevser Irem Danaci, Erdem Akagündüz|arXiv (Cornell University)|Mar 16, 2022

Infrared Target Detection Methodologies被引用 5

一句话总结

本综述整理并分类了109个公开或私有的红外（IR）图像与视频数据集，涵盖计算机视觉与人工智能研究。它详细描述了每个数据集的传感器类型、分辨率、采集环境及应用重点，同时介绍了红外成像的基本原理，为从事非可见光谱数据研究的研究人员提供了全面参考。

ABSTRACT

In this survey, we compile a list of publicly available infrared image and video sets for artificial intelligence and computer vision researchers. We mainly focus on IR image and video sets which are collected and labelled for computer vision applications such as object detection, object segmentation, classification, and motion detection. We categorize 92 different publicly available or private sets according to their sensor types, image resolution, and scale. We describe each and every set in detail regarding their collection purpose, operation environment, optical system properties, and area of application. We also cover a general overview of fundamental concepts that relate to IR imagery, such as IR radiation, IR detectors, IR optics and application fields. We analyse the statistical significance of the entire corpus from different perspectives. We believe that this survey will be a guideline for computer vision and artificial intelligence researchers that are interested in working with the spectra beyond the visible domain.

研究动机与目标

• 整理一个集中化、最新的公开可用及私有红外（IR）图像与视频数据集列表，用于计算机视觉与人工智能研究。
• 解决与可见光波段数据集相比红外数据集可访问性不足的问题，后者常因成本、安全或知识产权问题而受限。
• 根据传感器类型、分辨率、规模及应用领域对109个红外数据集进行分类，以帮助研究人员选择合适的数据集。
• 提供红外成像原理的概述，包括红外辐射、探测器、光学系统及应用领域，以支持初入非可见光谱领域的研究人员。
• 作为未来在红外领域自适应、多模态融合及热成像与红外数据深度学习研究的参考指南。

提出的方法

• 从公开学术来源系统性地收集并整理109个红外图像与视频数据集，包括已发表的数据集及私有收藏。
• 根据传感器类型（如LWIR、MWIR、NIR）、图像分辨率、规模（小、中、大）及应用领域（如监控、医疗、工业）对数据集进行分类。
• 对每个数据集进行详细记录，包括采集目的、运行环境、光学系统规格及标注格式。
• 纳入红外辐射、红外探测器、红外光学及应用领域的基础知识，以支持对非可见光谱不熟悉的 researchers。
• 对整个数据集集合在对象类别、标注类型、传感器分辨率及预处理方法等维度进行统计分析。
• 使用标准化标签（如“pub”表示公开，“rr”表示受限研究，“mil.”表示军事，“sur.”表示监控）以标明数据访问与使用条件。

实验结果

研究问题

• RQ1 在传感器类型、分辨率和规模方面，公开可用的红外图像与视频数据集的关键特征是什么？
• RQ2 不同研究领域（如监控、工业监测和医学成像）中，红外数据集的采集环境与应用领域如何变化？
• RQ3 红外数据集中最常见的标注类型与对象类别是什么？与可见光谱数据集相比有何异同？
• RQ4 研究人员在处理红外数据前，必须理解的红外成像基本原理有哪些？
• RQ5 此整理后的数据集列表如何支持红外专用任务（如领域自适应与多模态融合）的深度学习模型开发？

主要发现

• 本综述识别并描述了109个红外图像与视频数据集，包括54个公开、43个受限研究及12个私有数据集。
• 大多数数据集聚焦于监控与军事应用（如人员、车辆与行人检测），其中42%的数据集被标记为“mil.”或“sur.”。
• LWIR（长波红外）传感器最为普遍，68%的数据集使用该波段，其次为MWIR（中波红外）与NIR（近红外）。
• 最常见的分辨率为640×480，出现在27%的数据集中；1280×960为第二高频，出现在18%的数据集中。
• 大量数据集（如TRICLOBS、VAP、ViViD++）包含多光谱或多模态数据（热成像、RGB、深度与时间差分），支持多模态学习。
• 本综述指出，在大规模、高分辨率及多样化标注的红外数据集方面仍存在显著空白，特别是在人脸识别与医学成像等任务中，凸显了未来数据采集的迫切需求。