[論文レビュー] Universal-Prototype Augmentation for Few-Shot Object Detection.

Aming Wu, Yahong Han+3 more|arXiv (Cornell University)|Mar 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 21被引用数 7

ひとこと要約

本論文では、すべてのオブジェクトカテゴリから普遍的プロトタイプを学習することで、不変でカテゴリに依存しない特徴を捉えることで、特徴の一般化を向上させる、${FSOD}^{up}$ と呼ばれる few-shot object detection フレームワークを提案する。これらのプロトタイプで特徴を拡張し、損失関数によって一貫性を強制することで、${FSOD}^{up}$ は few-shot およびロングテール検出ベンチマークにおける性能を向上させ、1ショット PASCAL VOC Split2 においてベースライン比で 6.8% の mAP 向上を達成した。

ABSTRACT

Few-shot object detection (FSOD) aims to strengthen the performance of novel object detection with few labeled samples. To alleviate the constraint of few samples, enhancing the generalization ability of learned features for novel objects plays a key role. Thus, the feature learning process of FSOD should focus more on intrinsical object characteristics, which are invariant under different visual changes and therefore are helpful for feature generalization. Unlike previous attempts of the meta-learning paradigm, in this paper, we explore how to smooth object features with intrinsical characteristics that are universal across different object categories. We propose a new prototype, namely universal prototype, that is learned from all object categories. Besides the advantage of characterizing invariant characteristics, the universal prototypes alleviate the impact of unbalanced object categories. After augmenting object features with the universal prototypes, we impose a consistency loss to maximize the agreement between the augmented features and the original one, which is beneficial for learning invariant object characteristics. Thus, we develop a new framework of few-shot object detection with universal prototypes (${FSOD}^{up}$) that owns the merit of feature generalization towards novel objects. Experimental results on PASCAL VOC and MS COCO demonstrate the effectiveness of ${FSOD}^{up}$. Particularly, for the 1-shot case of VOC Split2, ${FSOD}^{up}$ outperforms the baseline by 6.8\% in terms of mAP. Moreover, we further verify ${FSOD}^{up}$ on a long-tail detection dataset, i.e., LVIS. And employing ${FSOD}^{up}$ outperforms the state-of-the-art method.

研究の動機と目的

• 少量のラベル付きデータという課題に直面する few-shot object detection において、特徴の一般化を向上させること。
• 新しいカテゴリにうまく一般化できない可能性があるカテゴリ特有のプロトタイプの限界を克服すること。
• すべてのカテゴリに共有される普遍的プロトタイプを活用することで、few-shot 学習におけるクラスの不均衡の影響を軽減すること。
• 不変で本質的なオブジェクト特徴に注目することで、モデルの視覚的変化へのロバスト性を向上させること。
• 標準的な few-shot ベンチマークとロングテール検出データセットの両方で性能を向上させる統合フレームワークの開発。

提案手法

• すべてのオブジェクトカテゴリの特徴から学習される普遍的プロトタイプを導入し、不変でカテゴリに依存しない特徴を捉える。
• 入力オブジェクト特徴を普遍的プロトタイプで拡張することで、その一般化能力を向上させる。
• 元の特徴に近いままに保たれるようにする一貫性損失を適用し、意味的整合性を維持する。
• 一貫性損失と標準的な検出ヘッドを用いて、エンドツーエンドでモデルを訓練することで、特徴の整合性と検出精度の両方を最適化する。
• 普遍的プロトタイプをトレーニング中に同時に最適化することで、few-shot シナリオに適応するメタラーニングの枠組みを採用する。
• 普遍的プロトタイプを正則化項として活用し、特にレアまたは代表されていないクラスの特徴学習を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 すべてのオブジェクトカテゴリに共有される普遍的プロトタイプは、few-shot object detection における特徴一般化を向上させることができるか？
• RQ2 普遍的プロトタイプを用いることで、few-shot 学習におけるクラスの不均衡の影響はどのように軽減されるか？
• RQ3 元の特徴と拡張された特徴の間の一貫性は、検出性能をどの程度向上させるか？
• RQ4 提案されたフレームワークは、LVIS ベンチマークのようなロングテール検出シナリオにも効果的に一般化できるか？
• RQ5 普遍的プロトタイプアプローチは、標準的な few-shot およびロングテール検出ベンチマークの両方で、既存の最先端手法を上回ることができるか？

主な発見

• ${FSOD}^{up}$ は、1ショット PASCAL VOC Split2 ベンチマークにおいて、ベースライン比で 6.8% の mAP 向上を達成した。
• LVIS データセットにおいても最先端の性能を上回り、ロングテールオブジェクト検出への強力な一般化能力を示した。
• 普遍的プロトタイプの使用により、視覚的変化にわたる不変な特徴に注目することで、よりロバストな特徴学習が実現した。
• 一貫性損失は、意味的コンテンツを効果的に維持しながら特徴一般化を強化し、検出精度の向上に寄与した。
• 複数の few-shot シナリオにわたり一貫した向上が見られ、低データ環境下での有効性を示した。
• 普遍的プロトタイプは、すべてのカテゴリに共通するインダクティブバイアスを提供することで、不均衡なクラス分布の悪影響を軽減した。