[논문 리뷰] Towards Large-Scale Small Object Detection: Survey and Benchmarks

Gong Cheng, Xiang Yuan외 5명|arXiv (Cornell University)|2022. 07. 28.

Advanced Neural Network Applications인용 수 34

한 줄 요약

이 논문은 작은 물체 탐지(SOD)를 조사하고 운전 장면용 SODA-D와 항공 장면용 SODA-A의 두 가지 대형 규모 SOD 벤치마크를 도입하여 다カテゴリ SOD 방법을 평가합니다.

ABSTRACT

With the rise of deep convolutional neural networks, object detection has achieved prominent advances in past years. However, such prosperity could not camouflage the unsatisfactory situation of Small Object Detection (SOD), one of the notoriously challenging tasks in computer vision, owing to the poor visual appearance and noisy representation caused by the intrinsic structure of small targets. In addition, large-scale dataset for benchmarking small object detection methods remains a bottleneck. In this paper, we first conduct a thorough review of small object detection. Then, to catalyze the development of SOD, we construct two large-scale Small Object Detection dAtasets (SODA), SODA-D and SODA-A, which focus on the Driving and Aerial scenarios respectively. SODA-D includes 24828 high-quality traffic images and 278433 instances of nine categories. For SODA-A, we harvest 2513 high resolution aerial images and annotate 872069 instances over nine classes. The proposed datasets, as we know, are the first-ever attempt to large-scale benchmarks with a vast collection of exhaustively annotated instances tailored for multi-category SOD. Finally, we evaluate the performance of mainstream methods on SODA. We expect the released benchmarks could facilitate the development of SOD and spawn more breakthroughs in this field. Datasets and codes are available at: \url{https://shaunyuan22.github.io/SODA}.

연구 동기 및 목표

• 다중 도메인에서 심층 학습 기반 작은 물체 탐지의 발전을 검토한다.
• SOD에 고유한 문제점을 식별하고 기존 접근법을 분류한다.
• 운전 및 항공 장면에 대한 두 개의 대형 규모 SODA 벤치마크를 소개하여 포괄적 평가를 가능하게 한다.
• SODA 벤치마크에서 대표적인 탐지기의 기준 평가를 제공한다.
• 향후 작은 물체 탐지 연구를 이끌 실마리를 제공한다.

제안 방법

• 작은 물체 탐지 방법을 sample-oriented, scale-aware, attention-based, feature-imitation, context-modeling, 그리고 focus-and-detect의 여섯 가지 범주로 분류한다.
• 작은 물체의 양성 샘플을 늘리기 위한 데이터 증강 및 최적화된 라벨 배치를 논의한다.
• 작은 물체 표현을 개선하기 위한 스케일 특화 아키텍처 및 특징 융합 전략을 설명한다.
• 작고 미세한 물체의 판별 및 위치지정을 강화하기 위한 주의(attention) 및 모방(imitation) 기반 기술을 요약한다.
• SODA-D와 SODA-A 데이터셋의 구성 과정, 통계 및 주석을 제시한다.
• 제안된 벤치마크에서 주류 SOD 방법 및 대표 탐지기의 실험 평가를 제공한다.

실험 결과

연구 질문

• RQ1 운전 및 항공 도메인 전반에서 작은 물체 탐지에 고유한 주요 챌린지는 무엇인가?
• RQ2 대규모 다중 카테고리 작은 물체 벤치마크에서 기존 SOD 방법의 성능은 어떠한가?
• RQ3 데이터 및 아키텍처 전략 중 어떤 것이 작은 물체 탐지 성능을 가장 효과적으로 향상시키는가?
• RQ4 제안된 SODA 벤치마크가 SOD 연구에 새로운 진전을 이끌 수 있는가?
• RQ5 스케일, 문맥 및 표현은 서로 다른 도메인에서 작은 물체 탐지에 어떻게 영향을 미치는가?

주요 결과

• 작은 물체는 정보 손실, 노이즈가 많은 표현, 낮은 IoU 허용도, 훈련을 위한 충분한 양성 샘플 부족의 문제를 겪는다.
• 스케일 인식 및 다중 스케일 특징 융합 접근법(FPN 유사 구조, 스케일 특화 탐지기, 계층적 융합 등)이 SOD 성능 향상의 핵심이다.
• 주의(attention) 기반 및 특징 모방(imitation) 방법은 이득을 제공하지만 계산 오버헤드나 학습 도전에 직면할 수 있다.
• 두 개의 새로운 대형 규모 SODA 벤치마크(SODA-D 및 SODA-A)는 각각 운전 및 항공 장면에 대해 exhaustively 주석이 달린 다중 카테고리 작은 물체 데이터를 제공한다.
• 벤치마크를 통해 스케일과 도메인에 걸친 탐지기의 심도 있는 평가가 가능하며 공개적으로 이용 가능하다(데이터셋 및 코드는 제공된 URL에 있음).
• SODA에 대한 기본 평가를 통해 대표적인 탐지 방법의 효과를 보여주고 향후 SOD 연구의 격차를 부각시킨다.