[論文レビュー] A Survey of Self-Supervised and Few-Shot Object Detection

Gabriel Huang, Issam Laradji+3 more|arXiv (Cornell University)|Oct 27, 2021

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本サーベイは自己教師ありおよび少数ショットオブジェクト検出手法について包括的なレビューを提供し、自己教師あり事前学習がラベルなしデータから強力な視覚的表現を学習することで、少数ショット一般化性能が向上する仕組みを分析している。特に、DETRegのような最先端手法が、自己教師ありによってバックボーンと検出ヘッドを同時に事前学習することで、MS COCOでSOTA性能を達成している点に注目している。

ABSTRACT

Labeling data is often expensive and time-consuming, especially for tasks such as object detection and instance segmentation, which require dense labeling of the image. While few-shot object detection is about training a model on novel (unseen) object classes with little data, it still requires prior training on many labeled examples of base (seen) classes. On the other hand, self-supervised methods aim at learning representations from unlabeled data which transfer well to downstream tasks such as object detection. Combining few-shot and self-supervised object detection is a promising research direction. In this survey, we review and characterize the most recent approaches on few-shot and self-supervised object detection. Then, we give our main takeaways and discuss future research directions. Project page at https://gabrielhuang.github.io/fsod-survey/

研究の動機と目的

• 最近の少数ショットおよび自己教師ありオブジェクト検出における進展を体系的にレビューし、分類する。
• 分類中心の自己教師あり表現がオブジェクト検出に与える制限を分析し、改善点を同定する。
• 少数ショット設定におけるバックボーンおよび検出ヘッドコンponentsの両方における自己教師あり事前学習の性能を評価する。
• 低データ、半教師あり、ゼロショットオブジェクト検出分野における主なトレンドと今後の研究方向性を特定する。
• 教師あり、少数ショット、自己教師ありのパラダイム間で、手法の分類とベンチマーク比較を提供する。

提案手法

• 事前学習戦略に基づいて手法を分類：教師ありバックボーン、自己教師ありバックボーンおよび検出ヘッド、またはアーキテクチャ全体の自己教師あり。
• 自己教師あり事前学習のための事前学習タスク（例：対照的学習（SimCLR、MoCo）、インスタンス識別、マスキング自己符号化）をレビュー。
• 自己教師あり表現をオブジェクト検出ヘッドおよび領域提案ネットワーク（RPN）に微調整または適応する手法を分析。
• MS COCO や PASCAL VOC といった標準ベンチマークでの性能を評価し、特に低ショットおよび少数ショット環境下での性能を注視。
• 自己教師あり手法と教師ありベースラインを比較し、表現の検出タスクへの転送可能性を検討。
• Faster R-CNNアーキテクチャ全体に対して自己教師あり事前学習を実施する最先端手法であるDETRegを導入し、議論する。

実験結果

リサーチクエスチョン

• RQ1 画像分類のための自己教師あり表現は、オブジェクト検出にどのように転送されるのか。その制限は何か。
• RQ2 少数ショットオブジェクト検出性能を向上させるために、どのようなアーキテクチャ的および事前学習的コンponentsが重要か。
• RQ3 バックボーンのみを事前学習するのと、バックボーン、RPN、ヘッドを含む検出器全体を自己教師ありで事前学習する戦略とを比較すると、性能にどのような差が出るか。
• RQ4 mini-COCO や 1% COCOサブセットといった低データ環境下で、自己教師あり手法がもたらす性能向上はどの程度か。
• RQ5 少数ショット、半教師あり、ゼロショット検出手法はどのように関連しているのか。また、それらの手法間で得られる共通の知見は何か。

主な発見

• バックボーン、RPN、検出ヘッドを含むオブジェクト検出器全体の自己教師あり事前学習は、MS COCOにおける少数ショットオブジェクト検出でSOTA性能を達成する。
• DETRegのような手法は、自己教師ありで全コンponentsを同時に事前学習することで、バックボーンのみを事前学習する手法を上回る性能を発揮する。
• 対照的学習やインスタンス識別目的でImageNetやCOCOで事前学習された自己教師あり表現は、局所化を最適化していない場合でも、オブジェクト検出タスクに強く転送される。
• 自己教師あり事前学習による性能向上は、特に1%や5%のMS COCOアノテーションといった低データ環境下で顕著に現れる。
• ImageNet Top-1精度と下流の検出性能との間に顕著なギャップが存在し、分類最適化の自己教師ありは検出タスクには最適でないことが示唆される。
• 今後の改善は、検出器コンponentsの共同事前学習や、ゼロショット検出手法で見られる視覚言語の事前知識の統合によって実現される可能性が高い。