[論文レビュー] Detect Everything with Few Examples

Xinyu Zhang, Liu, Yuhan+2 more|arXiv (Cornell University)|Sep 22, 2023

Handwritten Text Recognition Techniques被引用数 5

ひとこと要約

DE-ViTは、微調整を必要とせず、固定されたDINOv2特徴量を活用して、多クラス検出を二値分類タスクに変換することで、新しいクラスの物体検出を実現するfew-shotオブジェクト検出フレームワークを提案する。COCOおよびLVISベンチマークにおいて最先端の性能を達成し、従来のfew-shotおよびオープンボックス検出器をそれぞれ最大15 mAPおよび6.9 AP50の差で上回った。

ABSTRACT

Few-shot object detection aims at detecting novel categories given only a few example images. It is a basic skill for a robot to perform tasks in open environments. Recent methods focus on finetuning strategies, with complicated procedures that prohibit a wider application. In this paper, we introduce DE-ViT, a few-shot object detector without the need for finetuning. DE-ViT's novel architecture is based on a new region-propagation mechanism for localization. The propagated region masks are transformed into bounding boxes through a learnable spatial integral layer. Instead of training prototype classifiers, we propose to use prototypes to project ViT features into a subspace that is robust to overfitting on base classes. We evaluate DE-ViT on few-shot, and one-shot object detection benchmarks with Pascal VOC, COCO, and LVIS. DE-ViT establishes new state-of-the-art results on all benchmarks. Notably, for COCO, DE-ViT surpasses the few-shot SoTA by 15 mAP on 10-shot and 7.2 mAP on 30-shot and one-shot SoTA by 2.8 AP50. For LVIS, DE-ViT outperforms few-shot SoTA by 17 box APr. Further, we evaluate DE-ViT with a real robot by building a pick-and-place system for sorting novel objects based on example images. The videos of our robot demonstrations, the source code and the models of DE-ViT can be found at https://mlzxy.github.io/devit.

研究の動機と目的

• 微調整に基づくfew-shotオブジェクト検出手法の実用的限界、すなわち複雑さと実世界への導入の妨げとなる点を解消すること。
• 特にCOCOやLVISのような挑戦的なベンチマークにおいて、既存の手法がオープンボックス検出器に比べて性能を発揮しない問題を改善し、few-shot検出の精度を向上させること。
• モデルの適応や再学習なしに、テスト時にのみサポート画像を用いて、新規クラスに対するゼロショット推論を可能にすること。
• 強力な性能を達成できるfew-shot検出が、微調整を一切行わず、固定されたビジョントランスフォーマーのみで実現可能であることを示すこと。

提案手法

• 各クラスごとの微調整を回避するため、1つの共通の二値分類器を用いて、多クラス分類を複数の1対全（one-vs-rest）二値分類タスクに変換する。
• DINOv2を用いてサポート画像の特徴量からクラスプロトタイプを構築し、提案領域の特徴量とクラス表現との類似度マップを計算する。
• 空間的統合層を通じて類似度マップ上の領域を伝搬することで、オブジェクトの境界ボックスを精緻化する、新規の伝搬ベースの局在化メカニズムを導入する。
• プロトタイププロジェクションヘッドを用いて、提案領域の特徴量を類似度マップにマッピングし、固定されたDINOv2特徴量のみを用いて分類と局在化を統合的に処理する。
• 背景プロトタイプとクラス再配置モジュールを導入することで、ベースクラスへの過学習を低減し、一般化性能を向上させる。
• 領域提案生成には汎用のRPNを採用し、以降の処理はすべて固定されたDINOv2特徴量上で実行する。

Figure 1: Demonstration of the proposed method on YCB objects (Calli et al., 2015 ) . DE-ViT with ViT-L/14 is used for prediction. Note that our model is trained on only the base categories of LVIS. Example images of YCB objects are provided only during inference to represent novel categories.

実験結果

リサーチクエスチョン

• RQ1 強力な事前学習済みビジョンモデルを活用することで、微調整なしにfew-shotオブジェクト検出を実現できるか？
• RQ2 ビジョントランスフォーマー（DINOv2など）の固定特徴量のみを用いて、正確なオブジェクト局在化を実現できるか？
• RQ3 個々のクラスに合わせた適応なしに、統合された二値分類ヘッドが、多クラス分類ヘッドを上回る性能を発揮できるか？
• RQ4 固定特徴量を用いる場合、伝搬ベースの局在化メカニズムが、新規クラスの境界ボックス精度を向上させるか？
• RQ5 COCOやLVISのような挑戦的なベンチマークにおいて、few-shot検出器がAP50およびマスクAPrの指標でオープンボックス検出器を上回れるか？

主な発見

• COCOにおける10ショット検出では、few-shot SoTAのLVCを15 mAP上回り、30ショットでは7.2 mAP上回った。
• COCOにおけるワンショット検出では、SoTAのBHRLを2.8 AP50上回った。
• LVISでは、従来のfew-shot SoTAであるDiGeoに比べて20のボックスAPrを上回った。
• COCOの新規クラスにおいて50のAP50を達成し、オープンボックスSoTAのCORA+を6.9 AP50上回った。
• LVISでは、新規カテゴリで34.3のマスクAPrを達成し、SoTAのRo-ViTを1.5のマスクAPr上回った。
• 微調整、蒸留、追加の事前学習データを一切使用せず、固定されたDINOv2特徴量のみに依存して最先端の結果を達成した。

Figure 2: Overview of the proposed method. Our approach uses DINOv2 ViT to encode the image into a feature map, from which proposal features are extracted using ROIAlign. Proposals are generated via an off-the-shelf RPN. Prototype projection transforms proposal features into similarity maps based on