[논문 리뷰] A Survey on Infrared Image and Video Sets

Kevser Irem Danaci, Erdem Akagündüz|arXiv (Cornell University)|2022. 03. 16.

Infrared Target Detection Methodologies인용 수 5

한 줄 요약

이 종합 조사에서는 컴퓨터 시각 및 AI 연구를 위한 공개 또는 비공개 인프라레드(IR) 영상 및 영상 데이터셋 109개를 종합하고 분류한다. 각 데이터셋의 센서 유형, 해상도, 촬영 환경, 적용 분야에 대한 상세한 기술을 제공하며, 기초적인 IR 영상 촬영 원리도 포함하여 비가시 스펙트럼 데이터를 다루는 연구자들에게 종합적인 참고 자료를 제공한다.

ABSTRACT

In this survey, we compile a list of publicly available infrared image and video sets for artificial intelligence and computer vision researchers. We mainly focus on IR image and video sets which are collected and labelled for computer vision applications such as object detection, object segmentation, classification, and motion detection. We categorize 92 different publicly available or private sets according to their sensor types, image resolution, and scale. We describe each and every set in detail regarding their collection purpose, operation environment, optical system properties, and area of application. We also cover a general overview of fundamental concepts that relate to IR imagery, such as IR radiation, IR detectors, IR optics and application fields. We analyse the statistical significance of the entire corpus from different perspectives. We believe that this survey will be a guideline for computer vision and artificial intelligence researchers that are interested in working with the spectra beyond the visible domain.

연구 동기 및 목표

• 컴퓨터 시각 및 AI 연구를 위한 공개 및 비공개 인프라레드(IR) 영상 및 영상 데이터셋의 통합된 최신 목록을 정리하기 위해.
• 비용, 보안 또는 지적 재산권 문제로 인해 일반적으로 제한되는 가시대 영상 데이터셋에 비해 인프라레드 데이터셋의 접근성 부족 문제를 해결하기 위해.
• 연구자들이 데이터셋 선택을 보다 효과적으로 할 수 있도록, 센서 유형, 해상도, 스케일, 응용 분야별로 109개의 IR 데이터셋을 분류하기 위해.
• 비가시 스펙트럼 분야에 진입하는 연구자들이 IR 영상 촬영 원리(예: IR 복사, 감지기, 광학 장치, 응용 분야 등)를 이해하는 데 기초적인 개요를 제공하기 위해.
• 미래의 IR 도메인 적응, 다중모달 융합, 열영상 및 인프라레드 데이터에 대한 딥러닝 연구를 지원하기 위한 참고 자료로 활용하기 위해.

제안 방법

• 공개 학술 자료에서 유래한 109개의 IR 영상 및 영상 데이터셋을 체계적으로 수집하고 정제하기 위해.
• 센서 유형(예: LWIR, MWIR, NIR), 해상도, 스케일(소형, 중형, 대형), 응용 분야(예: 감시, 의료, 산업) 기반으로 데이터셋을 분류하기 위해.
• 각 데이터셋의 촬영 목적, 운영 환경, 광학 시스템 사양, 주석 형식에 대한 상세한 문서화를 수행하기 위해.
• 비가시 스펙트럼에 익숙하지 않은 연구자들을 지원하기 위해 인프라레드 복사, IR 감지기, IR 광학 장치, 응용 분야에 대한 기본 배경 정보를 포함하기 위해.
• 객체 카테고리, 주석 유형, 센서 해상도, 전처리 방법 등의 차원에서 전체 데이터 코퍼스에 대한 통계 분석을 수행하기 위해.
• 데이터 접근 및 사용 조건을 나타내기 위해 표준 레이블(예: 'pub'은 공개, 'rr'은 제한된 연구용, 'mil.'은 군사용, 'sur.'은 감시용)을 사용하기 위해.

실험 결과

연구 질문

• RQ1 공개된 인프라레드 영상 및 영상 데이터셋의 주요 특성은 센서 유형, 해상도, 스케일 측면에서 어떻게 되어 있는가?
• RQ2 감시, 산업 모니터링, 의료 영상 등 다양한 연구 분야에서 인프라레드 데이터셋의 촬영 환경과 응용 분야는 어떻게 다양하게 나타나는가?
• RQ3 인프라레드 데이터셋에서 가장 흔한 주석 유형과 객체 카테고리는 무엇이며, 이는 가시대 영상 데이터셋과 비교해 어떻게 다를까?
• RQ4 인프라레드 영상 촬영의 기본 원리는 무엇이며, 연구자들이 IR 데이터를 다루기 전에 이해해야 할 핵심 원리는 무엇인가?
• RQ5 이러한 정제된 데이터셋 목록은 도메인 적응 및 다중모달 융합과 같은 인프라레드 전용 작업을 위한 딥러닝 모델 개발에 어떻게 기여할 수 있는가?

주요 결과

• 이 조사에서는 54개의 공개, 43개의 제한된 연구용, 12개의 비공개 수집 데이터셋을 포함해 총 109개의 인프라레드 영상 및 영상 데이터셋을 식별하고 기술하였다.
• 대부분의 데이터셋은 감시 및 군사 응용(예: 인명, 차량, 보행자 검출)에 집중되어 있으며, 총 42%의 데이터셋이 'mil.' 또는 'sur.'로 표시되어 있다.
• LWIR(장파장 인프라레드) 센서가 가장 널리 사용되었으며, 전체 데이터셋의 68%에서 이 밴드를 사용하고, 이어 MWIR(중파장 인프라레드)와 NIR(근적외선)가 뒤를 이었다.
• 가장 흔한 해상도는 640×480이며, 이는 전체 데이터셋의 27%에서 사용되었고, 1280×960는 두 번째로 자주 사용된 해상도로 18%의 데이터셋에서 나타났다.
• TRICLOBS, VAP, ViViD++와 같은 다수의 데이터셋은 다중스펙트럼 또는 다중모달 데이터(열영상, RGB, 깊이, 시간 차이)를 포함하여 다중모달 학습을 지원하고 있다.
• 이 조사에서는 특히 얼굴 인식 및 의료 영상 분야에서 대규모, 고해상도, 다양한 주석 정보를 갖춘 인프라레드 데이터셋의 부족을 지적하며, 향후 데이터 수집의 필요성을 강조하고 있다.