[論文レビュー] A Comparative Review of Recent Few-Shot Object Detection Algorithms

Jiaxu Leng, Taiyue Chen+5 more|arXiv (Cornell University)|Oct 30, 2021

Advanced Neural Network Applications参考文献 192被引用数 14

ひとこと要約

本論文は、少サンプル物体検出（FSOD）手法について包括的なサーベイを提示し、訓練データおよび監視タイプの新しいデータベース型分類法を導入している。主なアプローチ、課題、ベンチマーク、学習戦略をレビューし、メタラーニング、トランスファーラーニング、データ拡張を中心的な技術として強調するとともに、ドメイン適応、効率的アーキテクチャ、ミックス監視学習が将来の重要な方向性であると特定しており、多くのサンプル検出器と比較して顕著な性能ギャップが残存していることを示している。

ABSTRACT

Few-shot object detection, learning to adapt to the novel classes with a few labeled data, is an imperative and long-lasting problem due to the inherent long-tail distribution of real-world data and the urgent demands to cut costs of data collection and annotation. Recently, some studies have explored how to use implicit cues in extra datasets without target-domain supervision to help few-shot detectors refine robust task notions. This survey provides a comprehensive overview from current classic and latest achievements for few-shot object detection to future research expectations from manifold perspectives. In particular, we first propose a data-based taxonomy of the training data and the form of corresponding supervision which are accessed during the training stage. Following this taxonomy, we present a significant review of the formal definition, main challenges, benchmark datasets, evaluation metrics, and learning strategies. In addition, we present a detailed investigation of how to interplay the object detection methods to develop this issue systematically. Finally, we conclude with the current status of few-shot object detection, along with potential research directions for this field.

研究の動機と目的

• 高いアノテーションコストと長尾データ分布の影響により、最小限のラベル付きデータでの物体検出のニーズが急務であるため。
• 少サンプル物体検出における訓練データおよび監視タイプの体系的分類を提供するため。
• 異なる学習パラダイムにおける既存のFSOD手法の強み・弱みおよびそれらの相互作用を分析するため。
• ドメインシフト、特徴のロバスト性、データ効率性といった主な課題を特定するため。
• ミックス監視学習、効率的アーキテクチャ、教師なしドメイン適応を含む今後の研究方向性を提示するため。

提案手法

• 訓練データの形式と関連する監視（例：インスタンスレベル、画像レベル、またはターゲットドメイン監視なし）に基づいてFSOD手法を分類するデータベース型分類法を提案する。
• FSODの文脈において、メタラーニング、トランスファーラーニング、半教師あり、弱教師あり学習といった主流の学習戦略をレビューする。
• 既存の検出器（例：R-CNN、YOLO、SSD）がどのように少サンプル状況に適応されているかを分析し、分類と局所化の共同最適化に焦点を当てる。
• 事前学習されたバックボーンと追加のデータセットが、低ショット状況下での特徴品質と一般化性能を向上させる役割を検証する。
• 過学習を軽減するため、クラス内多様性とクラス間差異のバランスを取るデータ拡張戦略を評価する。
• 弱教師あり設定におけるドメインシフトとノイズの多い疑似ラベルの影響を、現在のアプローチの限界として議論する。

実験結果

リサーチクエスチョン

• RQ1 インスタンスレベルと画像レベルの監視といった、異なる監視形式が少サンプル物体検出性能にどのように影響を与えるか？
• RQ2 多くのサンプルで学習された検出器を少サンプル状況に適応させる際の主なアーキテクチャ的および訓練上の課題は何か？
• RQ3 ターゲットドメインの監視が存在しない追加のデータセットからの知識を、FSODで効果的に活用する方法は何か？
• RQ4 ドメインシフトとデータバイアスは、少サンプル検出器の一般化性能にどのような影響を及えるか？
• RQ5 ミックス監視学習と教師なし学習は、最小限のアノテーションで少サンプル検出を向上させるために果たす役割は何か？

主な発見

• 既存の少サンプル物体検出器は、多くのサンプル検出器や人間の性能と比較して顕著な性能ギャップを示している。
• メタラーニングとトランスファーラーニングが主流の戦略ではあるが、タスク固有の概念とソースドメインの概念の不整合により、大規模なドメインシフトではしばしば失敗する。
• 特徴抽出器はスケール変動に極めて敏感であり、特にバックボーンが固定されている場合、低ショット状況における主要なボトル neck である。
• クラス内多様性をやや増加させるデータ拡張戦略は一般化性能を向上させることができるが、大規模なドメインシフト下ではその有効性が低下する。
• 弱教師あり少サンプル検出は、画像レベルのアノテーションから導出されるノイズの多い疑似ラベルの影響により、物体の局所化が曖昧になる問題を抱えている。
• 少数のインスタンスレベルラベルと弱教師ありデータを組み合わせたミックス監視学習は有望であり、未だ十分に検討されていないため、今後の重要な研究方向性であると示唆される。