[論文レビュー] Label, Verify, Correct: A Simple Few Shot Object Detection Method

Prannay Kaul, Weidi Xie+1 more|arXiv (Cornell University)|Dec 10, 2021

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文は、わずかなアノテーション例のみを用いて新規カテゴリの検出性能を向上させる、シンプルでありながら効果的な few-shot 物体検出手法 'Label, Verify, Correct' を提案する。k-NN 分類器を用いた反復的ラベル検証により高品質な偽アノテーションを生成し、専用の回帰器によるバウンディングボックス補正を実施することで、新規クラスにおける再現率と正確性を顕著に向上させつつ、ベースカテゴリの性能を維持する。PASCAL VOC および MS-COCO ベンチマークで最先端の結果を達成した。

ABSTRACT

The objective of this paper is few-shot object detection (FSOD) -- the task of expanding an object detector for a new category given only a few instances for training. We introduce a simple pseudo-labelling method to source high-quality pseudo-annotations from the training set, for each new category, vastly increasing the number of training instances and reducing class imbalance; our method finds previously unlabelled instances. Naïvely training with model predictions yields sub-optimal performance; we present two novel methods to improve the precision of the pseudo-labelling process: first, we introduce a verification technique to remove candidate detections with incorrect class labels; second, we train a specialised model to correct poor quality bounding boxes. After these two novel steps, we obtain a large set of high-quality pseudo-annotations that allow our final detector to be trained end-to-end. Additionally, we demonstrate our method maintains base class performance, and the utility of simple augmentations in FSOD. While benchmarking on PASCAL VOC and MS-COCO, our method achieves state-of-the-art or second-best performance compared to existing approaches across all number of shots.

研究の動機と目的

• 1～30例のアノテーション例しか与えられない新規オブジェクトカテゴリを検出できるよう、ベースカテゴリの性能を損なうことなく、few-shot 物体検出（FSOD）の課題に対処すること。
• 新規クラスが著しく不足しているため、少数の学習における監視の崩壊と深刻なクラス不均衡の問題を克服すること。
• 専用の検証および補正ステップを通じて、クラスラベルとバウンディングボックス座標の両方を精緻化することで、新規クラスの偽アノテーションの品質を向上させること。
• 従来の研究で十分に検討されていなかった、 aggressive data augmentation が few-shot 物体検出に与える影響を実証すること。
• 1～30ショットの全設定において、PASCAL VOC および MS-COCO ベンチマークで最先端または第二位の性能を達成すること。

提案手法

• ベースカテゴリで訓練されたベースラインの Faster R-CNN ディテクタを用い、全訓練セット上で新規カテゴリのノイズの多い候補検出を生成する。
• 少数の学習アノテーションからの自己教師付き特徴を用いて訓練された k-NN 分類器が、これらの候補のクラスラベルを検証し、予測が一致しない偽陽性をフィルタリングする。
• 検証済み候補のバウンディングボックス座標を精緻化する専用のボックス回帰器を訓練する。これにより、局所化の正確性が顕著に向上する。
• 得られた高精度な偽アノテーションをベースカテゴリの元の真値アノテーションと組み合わせ、エンドツーエンドで検出器を再訓練する。
• 限られた新規カテゴリデータにおける一般化性能の向上と過学習の低減を図るため、aggressive data augmentation を活用する。
• ラベル付け、検証、補正の全パイプラインは、Faster R-CNN などの標準的な二段階検出器と互換性があり、シンプルに設計されている。

実験結果

リサーチクエスチョン

• RQ1 高精度なアノテーションを用いた偽ラベル付けが、新規クラスにおける few-shot 物体検出性能を顕著に向上させ得るか？
• RQ2 人為的アノテーションデータに依存せずに、偽アノテーション内のクラスラベル誤りを効果的に低減できるか？
• RQ3 専用のボックス補正モジュールが、偽アノテートされたインスタンスのバウンディングボックス予測品質を向上させ得るか？
• RQ4 aggressive data augmentation 策略が、物体検出における few-shot 一般化にどの程度寄与するか？
• RQ5 提案手法は、新規クラスの検出性能を向上させる一方で、ベースカテゴリの性能を維持できるか？

主な発見

• MS-COCO ベンチマークにおいて30ショットで、提案手法は新規クラスで57.6 mAP（平均平均精度）を達成し、同じ設定下でのベースラインの44.2 mAPを顕著に上回った。
• PASCAL VOC では、ResNet-101 を用いた30ショットで新規クラスで59.6 mAP を達成し、全ショット設定において最先端または第二位の性能を記録した。
• IoU=0.75 の条件下での精度-再現率曲線において、偽ラベルパイプライン適用後、新規クラスの両方の指標に顕著な向上が見られた。
• アブレーションスタディにより、ラベル検証とボックス補正の両方が不可欠であることが確認され、いずれのステップも欠落すると性能が著しく低下した。
• ベースカテゴリの性能は強く維持されており、エンドツーエンド再訓練における監視の崩壊による劣化は観察されなかった。
• aggressive data augmentation は一般化に不可欠であることが判明し、アブレーションスタディでは、偽ラベル付けと併用した際の明確な性能向上が示された。