[論文レビュー] Few-Shot Object Detection via Variational Feature Aggregation

Jiaming Han, Yuqiang Ren+3 more|arXiv (Cornell University)|Jan 31, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、ベースクラスへのバイアスを低減し、少サンプル例のばらつきに対してより頑健になるようにするため、クラスに依存しない集約（CAA）と変分特徴集約（VFA）を用いたメタラーニングフレームワークを提案する。ベースデータ上で事前学習された変分オートエンコーダーを用いてクラス分布をモデル化し、分類と回帰を分離することで、VFAはより正確で安定した特徴集約を可能にし、PASCAL VOCおよびCOCOで強力なベースライン比で最大16%の相対的改善を達成し、最先端の性能を実現した。

ABSTRACT

As few-shot object detectors are often trained with abundant base samples and fine-tuned on few-shot novel examples,the learned models are usually biased to base classes and sensitive to the variance of novel examples. To address this issue, we propose a meta-learning framework with two novel feature aggregation schemes. More precisely, we first present a Class-Agnostic Aggregation (CAA) method, where the query and support features can be aggregated regardless of their categories. The interactions between different classes encourage class-agnostic representations and reduce confusion between base and novel classes. Based on the CAA, we then propose a Variational Feature Aggregation (VFA) method, which encodes support examples into class-level support features for robust feature aggregation. We use a variational autoencoder to estimate class distributions and sample variational features from distributions that are more robust to the variance of support examples. Besides, we decouple classification and regression tasks so that VFA is performed on the classification branch without affecting object localization. Extensive experiments on PASCAL VOC and COCO demonstrate that our method significantly outperforms a strong baseline (up to 16\%) and previous state-of-the-art methods (4\% in average). Code will be available at: \url{https://github.com/csuhan/VFA}

研究の動機と目的

• 訓練データにおけるクラスの不均衡によって生じる少サンプルオブジェクト検出器のベースクラスへのバイアスを解消すること。
• クラス間の特徴相互作用を促進することで、新規クラスとベースクラスの混同を低減し、クラスに依存しない表現を促進すること。
• 少サンプル例におけるクラス内ばらつきに対して頑健性を向上させるために、変分オートエンコーダーを用いてクラス分布をモデル化すること。
• 分類と回帰を分離することで、特徴集約が翻訳不変の表現に集中できるようにし、局所化性能に影響を与えないようにすること。
• 限られたサポート例があるにもかかわらず、少サンプルオブジェクト検出ベンチマークで最先端の性能を達成すること。

提案手法

• クラスに依存しない集約（CAA）を提案する。これは、クエリ特徴とサポート特徴の間で、クラスIDにかかわらず特徴の相互作用を可能にすることで、クラスバイアスを低減し、一般化性能を向上させる。
• 変分特徴集約（VFA）を導入する。これは、ベースクラスで事前学習された共有の変分オートエンコーダー（VAE）を用いて、少サンプルサポート例からのクラスレベルの分布をモデル化する。
• サポート特徴をVAEを用いて潜在分布（平均μと分散σ）にエンコードし、その後、robustなプロトタイプz = μ + ε·σをサンプリングしてクエリ特徴と集約する。
• VAEの新規クラスにおけるファインチューニング時にクラス固有の情報を保持するために、一貫性損失ℒconsを適用する。これにより、意味的な分布推定が保証される。
• 分類ヘッドと回帰ヘッドを分離することで、VFAが分類ブランチでのみ動作し、局所化精度を維持できるようにする。
• メタラーニング訓練パラダイムを採用し、まずベースクラスでモデルを事前学習し、次にKショットのサポートセットを用いて新規クラスでファインチューニングする。

Figure 1: Comparisons of different support feature encoding methods. Previous methods use plain fully-connected (FC) layers to encode support features and obtain class prototypes by averaging these features: $\mathbf{x}_{p}={\rm Avg}(\mathbf{x}_{1},\mathbf{x}_{2},\dots)$ . In contrast, our method us

実験結果

リサーチクエスチョン

• RQ1 クラス間の特徴相互作用は、少サンプルオブジェクト検出におけるベースクラスへのバイアスを低減できるか？
• RQ2 変分オートエンコーダーを用いてクラス分布をモデル化することで、少サンプル例におけるクラス内ばらつきに対する頑健性が向上するか？
• RQ3 分類と回帰を分離することで、局所化性能を損なわず、より効果的な特徴集約が可能になるか？
• RQ4 豊富なベースクラスから学習した分布を、わずかKショットの新規クラスに効果的に転移できるか？
• RQ5 特徴表現の選択（例：元の特徴、再構成特徴、潜在特徴）は、クラスプロトタイプの頑健性と精度にどのように影響するか？

主な発見

• 提案されたVFA手法は、強力なMeta R-CNN++ベースラインを1ショット検出で最大16%向上させ、低ショット環境での顕著な向上を示した。
• PASCAL VOCでは、ℒconsを再構成特徴S′に適用した場合、1ショット検出で57.7%のnAPを達成し、VFAを適用しないベースラインの51.3%を上回った。
• 本手法は新規クラスとベースクラスの混同を低減した。例えば、「cow」（新規クラス）と「horse」や「sheep」（ベースクラス）の類似度は、CAAおよびVFAの下で顕著に低下した。
• VFAで推定されるクラスプロトタイプは、ショット数の減少に対してより頑健である。サポート例数が減少するにつれて、実際のクラス中心からの距離の増加が小さくなる。
• VAEからの潜在表現μとσは、元の特徴Sおよび再構成特徴S′よりも、プロトタイプの精度と頑健性において優れている。
• 一貫性損失ℒconsは極めて重要である。再構成特徴S′にℒconsを適用した場合、1ショットで最高の性能（57.7% nAP）を達成し、分布学習中のクラス固有情報の保持役割を示した。

Figure 2: Illustration of two feature aggregation methods. $S_{i}$ / $Q_{i}$ : support and query features of class $i$ . $\mathcal{A}$ : feature aggregation. $\mathcal{L}$ : loss functions.