[論文レビュー] Towards Generalized and Incremental Few-Shot Object Detection

Yiting Li, Haiyue Zhu+5 more|arXiv (Cornell University)|Sep 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 6

ひとこと要約

本稿では、災難的忘却を軽減し一般化性能を向上させるために、ベースクラスと新規クラスの特徴学習を分離する、新しいインクリメンタル少数-shot物体検出（iFSOD）フレームワークであるダブルブランチフレームワーク（DBF）を提案する。安定したモーメントマッチング（SMM）によるパラメータ安定化と、タスク間のクラス分離損失による特徴の判別性向上を統合することで、SOTAと比較して10-shot設定でmAPを2.4ポイント向上させるとともに、ベースクラスの精度を維持する。

ABSTRACT

Real-world object detection is highly desired to be equipped with the learning expandability that can enlarge its detection classes incrementally. Moreover, such learning from only few annotated training samples further adds the flexibility for the object detector, which is highly expected in many applications such as autonomous driving, robotics, etc. However, such sequential learning scenario with few-shot training samples generally causes catastrophic forgetting and dramatic overfitting. In this paper, to address the above incremental few-shot learning issues, a novel Incremental Few-Shot Object Detection (iFSOD) method is proposed to enable the effective continual learning from few-shot samples. Specifically, a Double-Branch Framework (DBF) is proposed to decouple the feature representation of base and novel (few-shot) class, which facilitates both the old-knowledge retention and new-class adaption simultaneously. Furthermore, a progressive model updating rule is carried out to preserve the long-term memory on old classes effectively when adapt to sequential new classes. Moreover, an inter-task class separation loss is proposed to extend the decision region of new-coming classes for better feature discrimination. We conduct experiments on both Pascal VOC and MS-COCO, which demonstrate that our method can effectively solve the problem of incremental few-shot detection and significantly improve the detection accuracy on both base and novel classes.

研究の動機と目的

• 順次的に小規模なバッチで新規クラスが学習されるインクリメンタル少数-shot物体検出における災難的忘却を解消すること。
• 以前に学習したベースクラスの検出性能を維持しながら、新しい少数-shotの新規クラスに適応すること。
• 安定した継続的学習により、低データ環境下での一般化性能と特徴の判別性を向上させること。
• 自動運転やロボット工学などのデータが乏しい環境で、実世界への物体検出器の導入を可能にすること。

提案手法

• ベースクラスと新規クラスのための特徴表現学習を分離するダブルブランチフレームワーク（DBF）を導入し、知識の保持と新規クラスへの適応を独立して最適化する。
• 継続的微調整中にパラメータ更新を制約する安定したモーメントマッチング（SMM）法を採用し、平坦な局所的最小値を促進し、特徴のずれを低減する。
• パラメータの変位を制限する段階的モデル更新ルールを適用し、古いクラスの長期記憶を保持する。
• 古いクラスと新しいクラスの埋め込み間に大きなマージンを強制するタスク間クラス分離損失を導入し、特徴の判別性を向上させる。
• 完全なアノテーションを必要とせず、低データ環境下での特徴品質を向上させるための半教師付きオブジェクトマイニング（SSOM）を用いる。
• SMMとクラス代表（CR）学習を組み合わせ、生画像を保存せずに、効果的でコン act な古いクラスの表現を維持する。

実験結果

リサーチクエスチョン

• RQ1 1つの検出器が、ベースクラスの災難的忘却を引き起こさずに、順次的に少数-shotの新規クラスに効果的に微調整可能か？
• RQ2 特徴表現をどのように分離することで、古い知識の保持と新しいクラスへの適応を同時に達成できるか？
• RQ3 どのような学習戦略が、少ないデータ条件下で安定した継続的学習を可能にし、過学習を最小限に抑えるか？
• RQ4 タスク間クラス分離が、特徴の判別性と検出精度をどの程度向上できるか？
• RQ5 MS-COCOで事前学習し、Pascal VOCで微調整した場合、提案手法がドメイン間でどの程度一般化できるか？

主な発見

• MS-COCOにおけるグループ別インクリメンタル設定の10-shot検出で、本手法は23.7 mAPを達成し、以前のSOTA（IMTFA）を11.3 mAPポイント上回った。
• クラス別インクリメンタル設定において、10-shot検出でSOTAを2.4 mAPポイント上回り、長期記憶保持の顕著な向上を示した。
• SMM法により、埋め込み空間における特徴のずれが低減され、クラス代表（CR）の有効な使用が可能になり、生画像の保存が不要になった。
• タスク間クラス分離損失は、交差エントロピー単体よりも一貫して性能を向上させ、クラス内表現をよりコン act で判別性の高いものにした。
• ドメイン間転送（MS-COCOからPascal VOC）においても、本手法は強力な一般化性能を示し、5-shotで12.5 mAP、10-shotで23.7 mAPを達成した。ドメイン間での堅牢性が確認された。
• バックボーンの深層部を微調整（RoI特徴抽出器のアンフリーク）することで、新規クラス検出のmAPは9.9から12.3 mAPに向上したが、災難的忘却が発生した。本手法は、このトレードオフを効果的に緩和した。