[論文レビュー] Class-Incremental Few-Shot Object Detection

Pengyang Li, Yanan Li+2 more|arXiv (Cornell University)|May 17, 2021

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 13

ひとこと要約

本論文は、忘却を最小限に抑え、トレーニングリソースの消費を削減し、転移能力を向上させる、クラスインクリメンタル少数ショット物体検出のための新規手法LEASTを提案する。特徴抽出器を分離し、低リソースコストの知識蒸留を適用し、クラスタリングベースのエキジンプル選択を用いることで、少数ショットインクリメンタル設定下でCOCOで18.2の調和平均APおよび33.9のARというSOTA性能を達成する。

ABSTRACT

Conventional detection networks usually need abundant labeled training samples, while humans can learn new concepts incrementally with just a few examples. This paper focuses on a more challenging but realistic class-incremental few-shot object detection problem (iFSD). It aims to incrementally transfer the model for novel objects from only a few annotated samples without catastrophically forgetting the previously learned ones. To tackle this problem, we propose a novel method LEAST, which can transfer with Less forgetting, fEwer training resources, And Stronger Transfer capability. Specifically, we first present the transfer strategy to reduce unnecessary weight adaptation and improve the transfer capability for iFSD. On this basis, we then integrate the knowledge distillation technique using a less resource-consuming approach to alleviate forgetting and propose a novel clustering-based exemplar selection process to preserve more discriminative features previously learned. Being a generic and effective method, LEAST can largely improve the iFSD performance on various benchmarks.

研究の動機と目的

• 新しいクラスに対して1つのクラスあたり少数のラベル付き例しか与えられない状況下で、インクリメンタル物体検出の課題に取り組み、事前に学習したベースクラスの危険な忘却を防ぐ。
• インクリメンタル学習中にベース知識を忘れるか、過剰なトレーニングリソースを要する既存手法の限界を克服する。
• 順次学習シナリオにおいてベースクラスと新しいクラスの両方の性能をバランスさせる汎用的で効率的なフレームワークを開発する。
• 転移時に不要な重みの適応を最小限に抑え、転移能力を向上させ、リソース要件を低減する。
• 代表的なエキジンプル選択戦略を用いて、ベースクラスの判別的特徴を保持することで、知識の保持を強化する。

提案手法

• 完全な検出器からクラスに依存するオブジェクト特徴抽出器を分離することで、インクリメンタル学習中の不要な重みの適応を低減し、転移能力を向上させる。
• リソース効率の高い軽量なアプローチを用いた知識蒸留を統合し、事前学習済みモデルの判別的分布を保持し、忘却を緩和する。
• クラスタリングベースのエキジンプル選択アルゴリズムを提案し、クラス内ばらつきと分布モードを捉える少数の代表的ベースクラス特徴を選択する。
• 新しいクラスを1つずつ、少数のアノテーション付きサンプルとともに段階的に導入する順次学習パイプラインに、提案された転移戦略を適用する。
• 蒸留損失を用いて、学生検出器の出力を教師の知識と一致させることで、インクリメンタルアップデート中もベースクラスの性能を維持する。
• 転移戦略、蒸留、エキジンプル選択の3要素を統合した、異なるベンチマークや設定に適用可能な包括的で汎用的なフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 少数のラベル付き例しか与えられない状況下で、新しいクラスを段階的に学習する際、どのようにして深刻な忘却を低減できるか？
• RQ2 インクリメンタル検出において、不要な重みの適応を最小限に抑えつつ、転移能力を最大化するにはどのような転移戦略が最適か？
• RQ3 トレーニングリソースの消費を増加させずに、ベースクラスの知識を効率的に保持するには、知識蒸留をどのように応用できるか？
• RQ4 最小限のサンプル数で、ベースクラスの分布とクラス内ばらつきを最もよく捉えるエキジンプル選択法は何か？
• RQ5 これらの要素を統合した包括的フレームワークは、少数ショットおよび継続的インクリメンタル学習の両設定で、既存のSOTA手法を上回る性能を発揮できるか？

主な発見

• LEASTは、10ショット学習下でCOCOで18.2の調和平均APおよび33.9のARを達成し、TFA や ONCE を含む先行手法を顕著に上回る。
• 提案された転移戦略（FIT_CSE）は、ベースラインのFIX_ALLと比較して1.8のAPおよび1.9のARを向上させ、重みの適応が低減され、転移能力が強化されたことを示している。
• 知識蒸留（損失を$d$と表記）により、蒸留なしと比較して新しいクラスのAPが2.4ポイント向上し、効果的な忘却抑制が確認された。
• クラスタリングベースのエキジンプル選択（$e$）は、ランダム選択（$e_r$）と比較して1.6ポイント、クラス平均選択（$e_a$）と比較して0.8ポイントの調和平均AP向上を達成し、ベースクラス特徴のより優れた表現が可能であることを証明した。
• 継続的学習において、LEASTは20段階のインクリメンタルステージにわたり安定した性能を維持するが、エキジンプルを含まないLEAST-NEはAP 12.1、AR 26.5に低下し、エキジンプル選択の必要性を確認した。
• MS-COCOからPascal VOCへのクロスドメイン転移において、LEASTはAP 18.2、AR 33.9を達成し、競合手法を顕著に上回り、一般化能力とロバスト性を裏付けた。