[論文レビュー] MM-FSOD: Meta and metric integrated few-shot object detection

Yuewen Li, Wenquan Feng+3 more|arXiv (Cornell University)|Dec 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 8

ひとこと要約

本稿では、メタラーニングとメトリックラーニングを統合することで、微調整を必要とせず、新規カテゴリの高速かつクラスに依存しない検出を可能にする、新しい少サンプル物体検出フレームワークMM-FSODを提案する。メタ表現モジュールを導入して特徴の再構成を行い、ピアソン距離に基づくメトリックモジュールを採用することで、FSOD、COCO、PASCAL VOCの各データセットで最先端の性能を達成し、5ショット設定下でAP50において最大18%の向上を達成した。

ABSTRACT

In the object detection task, CNN (Convolutional neural networks) models always need a large amount of annotated examples in the training process. To reduce the dependency of expensive annotations, few-shot object detection has become an increasing research focus. In this paper, we present an effective object detection framework (MM-FSOD) that integrates metric learning and meta-learning to tackle the few-shot object detection task. Our model is a class-agnostic detection model that can accurately recognize new categories, which are not appearing in training samples. Specifically, to fast learn the features of new categories without a fine-tuning process, we propose a meta-representation module (MR module) to learn intra-class mean prototypes. MR module is trained with a meta-learning method to obtain the ability to reconstruct high-level features. To further conduct similarity of features between support prototype with query RoIs features, we propose a Pearson metric module (PR module) which serves as a classifier. Compared to the previous commonly used metric method, cosine distance metric. PR module enables the model to align features into discriminative embedding space. We conduct extensive experiments on benchmark datasets FSOD, MS COCO, and PASCAL VOC to demonstrate the feasibility and efficiency of our model. Comparing with the previous method, MM-FSOD achieves state-of-the-art (SOTA) results.

研究の動機と目的

• 少ないラベル付き例での新規物体カテゴリの検出という課題に取り組み、大規模なラベル付きデータセットへの依存を低減すること。
• 従来の少サンプル物体検出手法がクラス固有の適応や、コサイン類似度のような最適でない距離メトリックに依存しているという制限を克服すること。
• 微調整を必要とせず、未学習のカテゴリに一般化可能なクラスに依存しない検出フレームワークを開発すること。
• 深層空間における特徴の識別性を向上させることで、クラス間分離を強化し、クラス内ばらつきを低減すること。

提案手法

• クラス内平均プロトタイプを用いてメタラーニングにより低レベル特徴の再構成を学ぶメタ表現（MR）モジュールを提案し、新規クラスへの迅速な適応を可能にする。
• ピアソン相関を用いてサポートプロトタイプとクエリRoI間の類似度を計算するピアソンメトリックモジュール（PR）を導入し、コサイン距離よりも特徴の結合性や背景のばらつきに対してより頑健である。
• モデルに依存しないメタラーニング（MAML）にインspiredされたエピソードベースの訓練パラダイムを用いて、MRモジュールを新規カテゴリにおいて迅速に収束させるように訓練する。
• 最終分類層をメトリックベースの類似度関数に置き換えることで、判別的な特徴埋め込みを最適化するエンドツーエンドの訓練を可能にする。
• MRモジュールがサポートセットのプロトタイプに基づいてクエリRoIの特徴を予測する特徴再構成の目的関数を採用し、特徴表現の質を向上させる。
• 迅速な適応のためのメタラーニングと判別的な埋め込みのためのメトリックラーニングを統合し、少サンプル物体検出のための統一されたフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 分類から特徴再構成へとメタラーニングを再利用することで、少サンプル物体検出の性能向上に有効に機能するか？
• RQ2 複雑な背景下で、ピアソン距離がコサイン距離に比べて、特徴間の類似度測定においてどのように優れているか？
• RQ3 クラスに依存しない検出モデルは、微調整やカテゴリ固有の適応なしに、新規カテゴリで高い性能を達成できるか？
• RQ4 クラス内プロトタイプによる特徴再構成は、少サンプル検出における一般化性能とクラス間分離をどの程度向上させるか？

主な発見

• MM-FSODは、少サンプル設定下でFSOD、MS COCO、PASCAL VOCの各データセットで最先端の性能を達成し、新規カテゴリへの強力な一般化能力を示した。
• ピアソン距離をコサイン距離に置き換えた場合、FSODデータセットでAP50が18%向上し、COCOでは16.6%向上した。これは、類似度測定においてピアソン距離が優れていることを実証した。
• メタ表現（MR）モジュールは、クエリRoIの特徴を正確に再構成し、それらを対応するクラス内プロトタイプの周囲にクラスタリングすることで、特徴の識別性が向上した。
• アブレーションスタディの結果、MRモジュールとPRモジュールの両方が不可欠であり、併用することで最も高い性能向上が得られた。
• 可視化結果から、MM-FSODは複雑な背景下でも新規クラスを正確に検出でき、ほとんどの場合で誤検出や見逃しの少ない性能を示した。
• 微調整を必要とせず、新規カテゴリにおいて迅速に収束するため、物体検出におけるゼロショット一般化の有効性が確認された。