[論文レビュー] Few-Shot Object Detection via Association and DIscrimination

Yuhang Cao, Jiaqi Wang+5 more|arXiv (Cornell University)|Nov 23, 2021

Advanced Neural Network Applications被引用数 24

ひとこと要約

本論文は、特徴空間の凝縮性とクラス間分離性を向上させるために、少数ショットオブジェクト検出のための2段階微調整フレームワークFADIを提案する。明示的な類似ベースクラスとの関連付けと、集合特化型マージン損失を用いた分類分岐の分離により、FADIは最先端の性能を達成し、ベースライン手法よりも最大+18.7 mAPの向上を達成した。特に1ショットおよび3ショット設定で顕著な向上が見られた。

ABSTRACT

Object detection has achieved substantial progress in the last decade. However, detecting novel classes with only few samples remains challenging, since deep learning under low data regime usually leads to a degraded feature space. Existing works employ a holistic fine-tuning paradigm to tackle this problem, where the model is first pre-trained on all base classes with abundant samples, and then it is used to carve the novel class feature space. Nonetheless, this paradigm is still imperfect. Durning fine-tuning, a novel class may implicitly leverage the knowledge of multiple base classes to construct its feature space, which induces a scattered feature space, hence violating the inter-class separability. To overcome these obstacles, we propose a two-step fine-tuning framework, Few-shot object detection via Association and DIscrimination (FADI), which builds up a discriminative feature space for each novel class with two integral steps. 1) In the association step, in contrast to implicitly leveraging multiple base classes, we construct a compact novel class feature space via explicitly imitating a specific base class feature space. Specifically, we associate each novel class with a base class according to their semantic similarity. After that, the feature space of a novel class can readily imitate the well-trained feature space of the associated base class. 2) In the discrimination step, to ensure the separability between the novel classes and associated base classes, we disentangle the classification branches for base and novel classes. To further enlarge the inter-class separability between all classes, a set-specialized margin loss is imposed. Extensive experiments on Pascal VOC and MS-COCO datasets demonstrate FADI achieves new SOTA performance, significantly improving the baseline in any shot/split by +18.7. Notably, the advantage is most announced on extremely few-shot scenarios.

研究の動機と目的

• 低データ環境下における少数ショットオブジェクト検出における特徴空間の劣化とクラス間分離性の低さを解決すること。
• 新規クラスが複数のベースクラスを暗黙的に利用する包括的微調整の限界を克服すること。
• 新規クラスを1つのベースクラスと明示的に関連付けることで、各新規クラスの特徴空間をコンパクトで特徴的なものにすること。
• 分類ヘッドを分離し、集合特化型マージン損失を適用することで、新規クラスとベースクラス間の分離性を向上させること。
• 特に極端な少数ショット状況（1ショットおよび3ショット）において、標準ベンチマークで最先端の性能を達成すること。

提案手法

• 関連付け段階では、意味的類似度メトリクスを用いて各新規クラスを意味的に類似したベースクラスに結びつける。これにより、新規クラスは関連するベースクラスの良好に整った特徴空間を模倣できる。
• 分離段階では、ベースクラスおよび新規クラスの分類分岐を分離することで、曖昧さを低減し、意思決定境界の明確さを向上させる。
• 集合特化型マージン損失を導入し、ベースクラス、新規クラス、およびネガティブクラスにそれぞれ異なるマージンを設定することで、クラス間分離性を最大化する。
• 損失の各成分はα、β、γでパrameter化され、βはショットKに対して1/Kに設定され、データの可用性に応じてマージンの大きさを適応的にスケーリングする。
• フレームワークは2段階の専用ステージで訓練される。まず関連付け、次に分離の順で実行され、ハイパーパramータは検証スプリットでのアブレーションを用いて調整される。
• 本手法はPascal VOCおよびMS-COCOデータセットを用い、標準的な少数ショットスプリットで評価され、主な指標としてmAPが用いられる。

実験結果

リサーチクエスチョン

• RQ1 1つのベースクラスとの明示的関連付けが、少数ショットオブジェクト検出におけるクラス内凝縮性の向上と特徴の散逸低減に寄与するか？
• RQ2 ベースクラスおよび新規クラスの分類ヘッドを分離することで、クラス間分離性の向上と誤認識の低減が達成されるか？
• RQ3 適応的スケーリングを備えた集合特化型マージン損失が、低ショット環境下での一般化性能の向上に寄与するか？
• RQ4 FADIは、既存の微調整およびメタラーニングベースラインと比較して、さまざまなショット設定でどの程度の性能を示すか？
• RQ5 FADIは、新規クラス検出精度の向上と同時に、ベースクラスの忘れが最小限に抑えられるか？

主な発見

• FADIはPascal VOCおよびMS-COCOの全ショット設定において、TFAベースラインを+18.7 mAP上回った。
• Pascal VOCの新規クラススプリット-1では、1ショットで50.3 mAP、2ショットで54.8 mAP、3ショットで54.2 mAPを達成し、先行する最先端手法を顕著に上回った。
• スプリット-1における1、2、3ショットで、それぞれ2.5、4.3、2.8 mAPの向上を達成し、前回の最先端手法を上回った。
• スプリット-3では、5ショットで59.3 mAPを達成し、同じショット設定での前回の最先端手法と比較して5.6ポイントの向上を示した。
• アブレーションスタディにより、新規クラス用のマージン（β）が性能向上に最も寄与していることが確認され、β=1/Kが全ショット設定で最適な結果をもたらした。
• FADIはベースクラスの忘れが最小限に抑えられ、TFAと比較してベースAP50が1.3ポイント低下するにとどまり、一方で新規クラスAP50は平均で10.5ポイント向上した。