[논문 리뷰] A Guide to Image and Video based Small Object Detection using Deep Learning : Case Study of Maritime Surveillance

Aref Miri Rekavandi, Xu Lian외 4명|arXiv (Cornell University)|2022. 07. 26.

Advanced Neural Network Applications인용 수 13

한 줄 요약

이 논문은 2017~2022년 사이에 발표된 160篇 이상의 딥러닝 기반 소객체 검출(SOD) 연구(이미지 및 영상 응용 분야, 특히 해양 감시)에 대한 종합적인 리뷰를 제공한다. 해양 환경에서의 소객체 검출 기법에 대한 분류 체계를 제안하고, 핵심 데이터셋과 평가 지표를 평가하며, 트랜스포머 기반 모델, 시간-공간 융합, 경량 아키텍처, 초월 도메인 전이(예: 초해상도, 이미지 향상)와 같은 향후 연구 방향을 규명한다.

ABSTRACT

Small object detection (SOD) in optical images and videos is a challenging problem that even state-of-the-art generic object detection methods fail to accurately localize and identify such objects. Typically, small objects appear in real-world due to large camera-object distance. Because small objects occupy only a small area in the input image (e.g., less than 10%), the information extracted from such a small area is not always rich enough to support decision making. Multidisciplinary strategies are being developed by researchers working at the interface of deep learning and computer vision to enhance the performance of SOD deep learning based methods. In this paper, we provide a comprehensive review of over 160 research papers published between 2017 and 2022 in order to survey this growing subject. This paper summarizes the existing literature and provide a taxonomy that illustrates the broad picture of current research. We investigate how to improve the performance of small object detection in maritime environments, where increasing performance is critical. By establishing a connection between generic and maritime SOD research, future directions have been identified. In addition, the popular datasets that have been used for SOD for generic and maritime applications are discussed, and also well-known evaluation metrics for the state-of-the-art methods on some of the datasets are provided.

연구 동기 및 목표

• 광학 이미지 및 영상에서 소객체를 탐지하는 데 있어 도전적인 과제를 해결하기 위해, 특히 소객체가 멀리 떨어져 있고 이미지의 10% 미만을 차지하는 해양 환경에서의 탐지 문제를 다룬다.
• 일반적인 소객체 검출(SOD) 연구와 해양 전용 응용 간 격차를 메우며, 높은 운영적 관련성에도 불구하고 여전히 탐색이 부족한 분야를 보완한다.
• 일반적 SOD 및 해양 SOD를 위한 50개 이상의 데이터셋, 평가 지표, 성능 기준을 검토함으로써 표준화된 벤치마킹 프레임워크를 구축한다.
• 정확도, 효율성, 강인성을 향상시키는 향후 연구 방향을 규명하고 권장한다. 이는 실시간 해양 감시 시스템의 성능 향상에 기여한다.

제안 방법

• 2017년부터 2022년까지 딥러닝 기반 SOD 분야에서 발표된 160편 이상의 논문에 대한 체계적 문헌 리뷰를 수행하였다.
• SOD 기법의 분류 체계를 수립하여 아키텍처(2D-CNN, 3D-CNN, RNN, 트랜스포머), 특징 학습(다중 해상도, 맥락, 특징 집합), 손실 함수 기반으로 방법을 분류하였다.
• 일반적 및 해양 응용을 위한 SOD에 사용된 50개 이상의 데이터셋(예: Tsinghua-Tencent 100K, CURE-TSD, DOTA, TinyPerson, ETRI-Maritime, SeaDronesSees)을 검토하고 비교하였다.
• 표준 학습 및 평가 지표(mAP, IoU, F1-score)를 평가하였으며, SOD 환경에서의 한계점을 논의하였다.
• 영상에서의 소객체를 '공간적으로 작고, 몇 프레임에만 나타나는' 제한된 시공간적 특성을 가진 객체로 새로운 정의를 제안하였으며, 이를 통해 2D-CNN 기반 방법을 3D-CNN 프레임워크로 확장하였다.
• 일반적 SOD에서 사용되는 기법(예: 초해상도, 맥락 학습)과 해양 SOD에서의 기법(예: 이미지 향상, 해양-육지 분할)을 비교함으로써 초월 도메인 전이 잠재력을 분석하였다.

실험 결과

연구 질문

• RQ1 최신 딥러닝 기반 소객체 검출 기법은 해양 환경과 일반적 시각 환경 간의 다양한 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ2 저해상도 및 고도의 가림 상황에서 SOD 성능을 크게 향상시키는 주요 아키텍처, 특징 엔지니어링, 손실 함수 구성 요소는 무엇인가?
• RQ3 기본 객체 검출기가 소객체에서 실패하는 이유는 무엇이며, 딥 네트워크 설계에서 어떤 특정 선택이 이 문제를 악화시키는가?
• RQ4 초해상도, 이미지 향상, 해양-육지 분할과 같은 기법들이 해양 SOD에서 일반적 SOD로, 또는 그 반대 방향으로 얼마나 효과적으로 전이될 수 있는가?
• RQ5 영상 시퀀스의 시간 정보를 어떻게 더 효과적으로 활용하여, 특히 저조도 또는 가림 상황에서의 잘못된 경고 및 탐지 누락을 줄일 수 있는가?

주요 결과

• 트랜스포머 기반 모델은 영상 기반 소객체 검출(VSOD) 및 해양 SOD에서 강력한 잠재력을 보이며, 전통적인 CNN보다 특징 표현 및 장거리 의존성 모델링에서 뛰어난 성능을 발휘한다.
• 현재 SOD 기법은 높은 계산 복잡도를 가지며, 실시간 해양 감시 시스템에 적합한 경량화되고 정확한 모델 개발이 절실한 상황이다.
• 영상에서의 시간 정보를 활용한 연구는 여전히 소수에 불과하지만, 이는 잘못된 경고 감소 및 가림 또는 저품질 조건에서의 탐지 강인성 향상 잠재력을 지닌다.
• 다중 작업 및 공동 학습 파이프라인은 글로벌 특징 추출에 효과적이지만, 특히 해양 환경에서의 SOD에서는 여전히 탐색이 부족한 분야이다.
• 3D-CNN은 시공간 특징을 모델링함으로써 2D-CNN 기반 SOD 방법을 영상으로 확장할 수 있으며, '제한된 시공간 정보' 개념은 영상에서의 소객체에 대한 새로운 정의를 제공한다.
• 해양 SOD에서 널리 사용되는 초해상도 및 이미지 향상 기법은 일반적 SOD에 체계적으로 적용되지 않았고, 반대로 일반적 SOD에서의 기법도 해양 SOD에 적극적으로 활용되지 않아, 이는 초월 도메인 혁신의 상당한 잠재력을 시사한다.