[論文レビュー] A Guide to Image and Video based Small Object Detection using Deep Learning : Case Study of Maritime Surveillance

Aref Miri Rekavandi, Xu Lian+4 more|arXiv (Cornell University)|Jul 26, 2022

Advanced Neural Network Applications被引用数 13

ひとこと要約

本論文は、2017年から2022年までの深層学習に基づく小物体検出（SOD）研究160件以上を包括的にレビューし、海上監視における画像および動画応用に焦点を当てている。SOD技術の分類法を提案し、主要なデータセットと評価指標を評価し、トランスフォーマーに基づくモデル、時空間統合、軽量アーキテクチャ、および超解像や画像強調処理などの手法のクロスドメイン転送といった今後の研究分野を特定している。

ABSTRACT

Small object detection (SOD) in optical images and videos is a challenging problem that even state-of-the-art generic object detection methods fail to accurately localize and identify such objects. Typically, small objects appear in real-world due to large camera-object distance. Because small objects occupy only a small area in the input image (e.g., less than 10%), the information extracted from such a small area is not always rich enough to support decision making. Multidisciplinary strategies are being developed by researchers working at the interface of deep learning and computer vision to enhance the performance of SOD deep learning based methods. In this paper, we provide a comprehensive review of over 160 research papers published between 2017 and 2022 in order to survey this growing subject. This paper summarizes the existing literature and provide a taxonomy that illustrates the broad picture of current research. We investigate how to improve the performance of small object detection in maritime environments, where increasing performance is critical. By establishing a connection between generic and maritime SOD research, future directions have been identified. In addition, the popular datasets that have been used for SOD for generic and maritime applications are discussed, and also well-known evaluation metrics for the state-of-the-art methods on some of the datasets are provided.

研究の動機と目的

• 光学画像および動画における小物体の検出という重要な課題に取り組むこと、特に物体が遠くにあり、画像の10％未満を占める海上環境において特に重要である。
• 一般向けの小物体検出（SOD）研究と、実務的意義が極めて高いが、依然として未開拓とされる海上特化型応用との間のギャップを埋めること。
• 一般および海上SODの両方の分野における50以上のデータセット、評価指標、パフォーマンスベンチマークをレビューすることで、標準化されたベンチマークフレームワークを確立すること。
• 精度、効率性、リアルタイム海上監視システムにおける耐障害性を向上させる今後の研究分野を特定・推奨すること。

提案手法

• 2017年から2022年までに発表された深層学習ベースのSOD分野の論文160件以上を対象とした体系的文献レビューを実施した。
• アーキテクチャ（2D-CNN、3D-CNN、RNN、トランスフォーマー）、特徴学習（マルチスケール、コンテキスト、特徴集約）、損失関数を基に分類したSOD手法の分類法を開発した。
• 一般および海上応用の両方を想定したSODで用いられる50以上のデータセット（Tsinghua-Tencent 100K、CURE-TSD、DOTA、TinyPerson、ETRI-Maritime、SeaDronesSeesなど）をレビュー・比較した。
• mAP、IoU、F1スコアといった標準的な学習および評価指標を評価し、SOD文脈におけるそれらの限界について議論した。
• 小物体を「空間的に小さいだけでなく、少数のフレームにのみ出現する」という限られた時空間的範囲を持つものとして定義し、2D-CNN手法を3D-CNNフレームワークに拡張した。
• 一般SODで用いられる技術（例：超解像、コンテキスト学習）と海上SODで用いられる技術（例：画像強調、海陸分離）を比較することで、クロスドメイン転送の可能性を分析した。

実験結果

リサーチクエスチョン

• RQ1 最先端の深層学習手法による小物体検出は、特に海上環境と一般の視覚環境の両方において、異なるデータセットでどのように性能を発揮するか？
• RQ2 低解像度および高オクルージョン状況下でのSOD性能を著しく向上させるために、アーキテクチャ、特徴工学、損失関数のどの要素が重要となるか？
• RQ3 標準的な物体検出器が小物体ではなぜ失敗するのか、また深層ネットワークにおけるどの具体的な設計選択がこの問題を悪化させるか？
• RQ4 超解像、画像強調処理、海陸分離といった技術が、海上SODから一般SOD、あるいはその逆に転送可能である程度はどの程度か？
• RQ5 動画シーケンスにおける時間的情報を、視界不良やオクルージョン下でも誤検出や見逃しを低減するために、どのようにより効果的に活用できるか？

主な発見

• トランスフォーマーに基づくモデルは、特徴表現力と長距離依存性モデリングにおいて従来のCNNを上回り、動画ベースの小物体検出（VSOD）および海上SODの分野で強く有望である。
• 現在のSOD手法は高い計算複雑性に起因しており、リアルタイム海上監視システムに適した軽量かつ高精度なモデルの開発が急務である。
• 動画における時間的情報を活用する研究は、依然として少数にとどまっているが、誤検出の低減およびオクルージョンや低品質下での検出耐性の向上という観点から、その潜在的価値は極めて高い。
• グローバル特徴抽出に有効であるマルチタスクおよびジョイント学習パイプラインは、効果的であるものの、特に海上環境のSOD分野では未だ十分に検討されていない。
• 3D-CNNは、時空間特徴をモデル化することで、2D-CNNベースのSOD手法を動画分野に拡張可能であり、「限られた時空間的情報」という概念は、動画における小物体の新たな定義を提供する。
• 海上SODで広く用いられている超解像や画像強調処理の技術は、一般SOD分野では体系的に応用されておらず、逆に一般SODで用いられる技術も海上SOD分野では十分に活用されていないことから、クロスドメインでのイノベーションの余地が著しく大きいことが示唆されている。