[論文レビュー] Meta Faster R-CNN: Towards Accurate Few-Shot Object Detection with Attentive Feature Alignment

Guangxing Han, Shiyuan Huang+3 more|arXiv (Cornell University)|Apr 15, 2021

Advanced Neural Network Applications被引用数 11

ひとこと要約

本稿では、メタラーニングに基づく少サンプル物体検出フレームワークであるMeta Faster R-CNNを提案する。本手法は、軽量なプロトタイプマッチングネットワークと注意メカニズムを用いて、少サンプルクラスの提案生成と分類を向上させる。推論時における微調整を必要とせず、複数のベンチマークで最先端の性能を達成している。特に1/2ショットの極めて限られたデータ設定において顕著な性能を示している。

ABSTRACT

Few-shot object detection (FSOD) aims to detect objects using only a few examples. How to adapt state-of-the-art object detectors to the few-shot domain remains challenging. Object proposal is a key ingredient in modern object detectors. However, the quality of proposals generated for few-shot classes using existing methods is far worse than that of many-shot classes, e.g., missing boxes for few-shot classes due to misclassification or inaccurate spatial locations with respect to true objects. To address the noisy proposal problem, we propose a novel meta-learning based FSOD model by jointly optimizing the few-shot proposal generation and fine-grained few-shot proposal classification. To improve proposal generation for few-shot classes, we propose to learn a lightweight metric-learning based prototype matching network, instead of the conventional simple linear object/nonobject classifier, e.g., used in RPN. Our non-linear classifier with the feature fusion network could improve the discriminative prototype matching and the proposal recall for few-shot classes. To improve the fine-grained few-shot proposal classification, we propose a novel attentive feature alignment method to address the spatial misalignment between the noisy proposals and few-shot classes, thus improving the performance of few-shot object detection. Meanwhile we learn a separate Faster R-CNN detection head for many-shot base classes and show strong performance of maintaining base-classes knowledge. Our model achieves state-of-the-art performance on multiple FSOD benchmarks over most of the shots and metrics.

研究の動機と目的

• 少サンプルクラスの物体提案の品質が低い問題に対処する。これは、訓練例が限られているため、しばしば誤検出やアライメントのずれを引き起こす。
• 従来のRPNと線形分類器の限界を克服する。少サンプル設定において、非線形でメトリクスに基づくプロトタイプマッチング機構を導入することで、性能を向上させる。
• 提案領域と少サンプル物体特徴の間の空間的ズレを明示的に取り扱うことで、細分化された提案分類を向上させる。
• ベースクラスと新規クラスの検出を分離する。ベースクラス専用のFaster R-CNNヘッドを学習することで、再トレーニングなしに新規クラスの追加が可能になる。
• メタラーニングにより、新規クラスのゼロショットデプロイメントを可能にする。推論時にはプロトタイプ計算のみを実行し、コストの高い微調整を回避する。

提案手法

• 標準的なRPNにおける線形分類器を置き換え、少サンプルクラスのカテゴリ固有の提案を生成する非線形でメトリクス学習に基づくプロトタイプマッチングネットワークを備えたメタRPNを提案する。
• マルチスケール特徴を統合することで、プロトタイプマッチングを強化する特徴統合ネットワークを用いる。これにより、少サンプルクラスの識別能が向上する。
• 提案特徴とクラスプロトタイプ間のソフトな対応マップを推定する注意メカニズムを用いた特徴アライメントモジュールを導入する。これにより、空間的ズレを是正する。
• ソフトな対応マップに基づく空間的注意を用い、特徴をアライメントし、前景領域に注目した上で、プロトタイプとの類似度を計算する。
• ベースクラス上でメタラーニングを用いてモデル全体を訓練する。これにより、新規クラスのゼロショット推論が可能となり、サポート画像からのプロトタイプ計算のみで実現する。
• 豊富なデータでトレーニングされた別個の検出ヘッドを維持することで、ベースクラスの性能を保ちつつ、少サンプル検出ヘッドから分離する。

実験結果

リサーチクエスチョン

• RQ1 訓練データが極めて限られた状況下で、メタラーニングに基づくアプローチが少サンプル物体検出における提案生成の品質を向上させられるか？
• RQ2 特徴統合を組み合わせた非線形プロトタイプマッチングネットワークは、線形分類器と比較して、少サンプルクラスの再現率と識別能をどの程度向上させるか？
• RQ3 注意メカニズムを用いた特徴アライメントは、ノイズの多い提案と少サンプル物体特徴の間の空間的ズレをどの程度是正できるか？
• RQ4 ベースクラス専用の分離検出ヘッドは、再トレーニングなしに新規クラスのインクリメンタル学習を可能にしつつ、高い性能を維持できるか？
• RQ5 標準ベンチマーク上での極めて限られた少サンプル設定（例：1/2ショット）において、微調整を伴わないメタラーニング推論戦略は、微調整戦略と比較してどの程度優れているか？

主な発見

• 提案されたMeta Faster R-CNNは、複数の少サンプル物体検出ベンチマークで最先端の性能を達成しており、特に1/2ショット設定で顕著な優位性を示している。
• メタラーニングオンリーモデルは、強力なベースライン手法を上回り、微調整を用いたSOTA手法と同等またはそれを上回る性能を示している。特に、より困難なMSCOCO 1/2ショットベンチマークで顕著である。
• 極めて少ないサンプル（例：1/2ショット）の状況下でも、微調整が効果を発揮しない中で、メタラーニングアプローチのロバスト性が顕著に示された。
• ベースクラス専用の別個の検出ヘッドは、統合されたソフトマックスベースの検出器と比較して顕著に性能を向上させ、メタテストと完全教師あり学習のギャップを縮小した。
• 注意メカニズムを用いた特徴アライメント機構は、空間的ズレを効果的に低減し、より正確な少サンプル提案分類を実現した。
• モデルは再トレーニングや微調整なしにインクリメンタルなクラス追加が可能であり、推論時にはプロトタイプ計算のみが必要である。これにより、実世界のデプロイメントに適している。