[論文レビュー] Transformers in Small Object Detection: A Benchmark and Survey of State-of-the-Art

Aref Miri Rekavandi, Shima Rashidi+4 more|arXiv (Cornell University)|Sep 10, 2023

Advanced Neural Network Applications被引用数 28

ひとこと要約

本調査は transformer-based small object detectors (SOD) をベンチマークし、トランスフォーマーが SOD において優れている理由を分析し、データセットと指標を含む多様な領域の 60 件超の研究の分類を、さまざまな領域にわたって行う系譜図を示す。

ABSTRACT

Transformers have rapidly gained popularity in computer vision, especially in the field of object recognition and detection. Upon examining the outcomes of state-of-the-art object detection methods, we noticed that transformers consistently outperformed well-established CNN-based detectors in almost every video or image dataset. While transformer-based approaches remain at the forefront of small object detection (SOD) techniques, this paper aims to explore the performance benefits offered by such extensive networks and identify potential reasons for their SOD superiority. Small objects have been identified as one of the most challenging object types in detection frameworks due to their low visibility. We aim to investigate potential strategies that could enhance transformers' performance in SOD. This survey presents a taxonomy of over 60 research studies on developed transformers for the task of SOD, spanning the years 2020 to 2023. These studies encompass a variety of detection applications, including small object detection in generic images, aerial images, medical images, active millimeter images, underwater images, and videos. We also compile and present a list of 12 large-scale datasets suitable for SOD that were overlooked in previous studies and compare the performance of the reviewed studies using popular metrics such as mean Average Precision (mAP), Frames Per Second (FPS), number of parameters, and more. Researchers can keep track of newer studies on our web page, which is available at \url{https://github.com/arekavandi/Transformer-SOD}.

研究の動機と目的

• CNN と比較して画像や動画全体でトランスフォーマーが小物体検出を改善する理由を説明する。
• トランスフォーマー系 SOD アプローチの系統を提供し、主要な手法を分類する。
• SOD の性能に影響を与えるデータセット、指標、およびアーキテクチャの選択を調査する。
• 小物体に対するトランスフォーマーの性能をさらに高める戦略を特定する。

提案手法

• オブジェクト表現、高速アテンション、完全にトランスフォーマーベースの検出、アーキテクチャの修正、補助技術、特徴表現、時空情報などのカテゴリにわたるトランスフォーマー系 SOD 手法の系統を提示する。
• 共通の指標（mAP、FPS、パラメータ数）を用いて、トランスフォーマー系検出器と CNN 系検出器を比較する。
• エンコーダ/デコーダ、アテンションといった基礎的なトランスフォーマーの概念と、代表的なモデル（DETR、ViT-FRCNN）およびそれらのSODにおける制限について論じる。
• SOD に用いられるデータセット、見落とされがちな大規模データセットを含む、データセットをレビューし、性能傾向を要約する。
• 収束と精度を向上させる補助的戦略（事前学習、データ拡張、デノイジング、one-to-many 割り当てなど）を強調する。

実験結果

リサーチクエスチョン

• RQ1 小物体に対するトランスフォーマー系検出器の優れた性能の要因は何か？
• RQ2 オブジェクト表現、アテンション機構、アーキテクチャの選択が SOD の性能にどう影響するか？
• RQ3 どのデータセットと評価指標がトランスフォーマーの SOD 能力を最もよく示し、どのような傾向が現れるか？
• RQ4 小物体検出のためのトランスフォーマー性能をさらに高める戦略は何か？

主な発見

• トランスフォーマーは、位置間の相互作用と文脈をモデル化する能力により、小物体検出タスクで CNN ベースの検出器を上回すことが多い。
• 変形可能な注意機構とマルチスケールアテンションのアプローチは、計算負荷を軽減し空間解像度を保持することで SOD の性能を向上させる。
• 完全なトランスフォーマー検出器と、アーキテクチャの革新および補助技術を組み合わせたハイブリッド（CNN+トランスフォーマー）は、小物体の局在を強化する。
• 補助技術（事前学習、データ拡張、デノイジング、反復的改良、one-to-many 割り当てなど）が SOD の収束を速め、精度を向上させるのに寄与する。
• 2022年以降の新しいデータセットと体系的な分類は、多様な応用分野（航空写真、医療、水中、SAR、映像）を明らかにし、mAP、FPS、パラメータ効率のベンチマークを提供する。