[論文レビュー] Closing the Generalization Gap in One-Shot Object Detection

Claudio Michaelis, Matthias Bethge+1 more|arXiv (Cornell University)|May 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 5

ひとこと要約

この論文は、トレーニング中にオブジェクトカテゴリの数を増やすことで、ワンショットオブジェクト検出における一般化ギャップをほぼ解消できることを示している。複雑なメトリクス学習に依存せずに、カテゴリ多様性をスケーリングするだけで、COCOにおけるAP50を22.0から27.5に向上させ、見たことのないクラスへのゼロショット一般化性能を45%から89%に向上させた。

ABSTRACT

Despite substantial progress in object detection and few-shot learning, detecting objects based on a single example - one-shot object detection - remains a challenge. A central problem is the generalization gap: Object categories used during training are detected much more reliably than novel ones. We here show that this generalization gap can be nearly closed by increasing the number of object categories used during training. Doing so allows us to beat the state-of-the-art on COCO by 5.4 %AP50 (from 22.0 to 27.5) and improve generalization from seen to unseen classes from 45% to 89%. We verify that the effect is caused by the number of categories and not the amount of data and that it holds for different models, backbones and datasets. This result suggests that the key to strong few-shot detection models may not lie in sophisticated metric learning approaches, but instead simply in scaling the number of categories. We hope that our findings will help to better understand the challenges of few-shot learning and encourage future data annotation efforts to focus on wider datasets with a broader set of categories rather than gathering more samples per category.

研究の動機と目的

• ワンショットオブジェクト検出において、新規カテゴリに対して顕著に性能が劣るという、長年の一般化ギャップを解消すること。
• 一般化ギャップの原因が、カテゴリごとのデータ量の不足にあるのか、それともトレーニング時のカテゴリ多様性の不足にあるのかを調査すること。
• 複雑なメトリクス学習技術に依存せずに、トレーニングカテゴリの数を増やすことでゼロショット一般化性能を向上させられるかを検証すること。
• 異なるモデル、バックボーン、データセットに対して本手法の頑健性を評価し、発見の一般性を確認すること。

提案手法

• 一般化性能への影響を評価するために、カテゴリ数を段階的に増やしたデータセットでワンショットオブジェクト検出モデルをトレーニングする。
• データ量を制御するため、トレーニングデータの総量を一定に保ちつつ、唯一の変数として異なるカテゴリ数を設定する。
• 標準的なオブジェクト検出アーキテクチャと標準的なトレーニングプロトコルを用い、モデルの複雑さではなくカテゴリ多様性の影響に焦点を当てる。
• 見慣れたカテゴリと見慣れないカテゴリの両方で性能を評価し、一般化ギャップの大きさとその縮小を測定する。
• 複数のバックボーンとデータセットを用いて結果を比較し、効果の一貫性を検証する。
• ゼロショット一般化を、見慣れたカテゴリでの検出APに対する見なれないカテゴリでのAPの比として測定する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中にオブジェクトカテゴリの数を増やすことで、ワンショットオブジェクト検出における一般化ギャップが縮小するか？
• RQ2 一般化性能の向上は、データ量の増加ではなくカテゴリ数の増加に起因するのか？
• RQ3 この効果は、異なるモデルアーキテクチャーやバックボーンネットワークに対しても成立するか？
• RQ4 この単純なスケーリング戦略は、複雑なメトリクス学習に依存する最先端手法を上回ることができるか？
• RQ5 カテゴリ多様性の向上が、見慣れたクラスから見なれないクラスへのゼロショット一般化をどの程度向上させるか？

主な発見

• トレーニングカテゴリの数を増やすことで、ワンショットオブジェクト検出における一般化ギャップが顕著に縮小される。
• COCOにおけるAP50が22.0から27.5に向上し、前回の最先端技術比で5.4パーセンテージポイントの向上を達成した。
• 見なれないクラスへのゼロショット一般化性能が、見慣れたクラスから見なれないクラスへの転移時に45%から89%に向上した。
• 制御されたアブレーションにより、向上はデータ量ではなくカテゴリ数に起因することが示された。
• この効果は、異なるモデル、バックボーン、データセットにおいて一貫しており、広範な適用可能性を示している。
• 結果から、少数ショット検出において、複雑なメトリクス学習よりもカテゴリ多様性のスケーリングがより効果的である可能性が示唆された。