[論文レビュー] Incremental-DETR: Incremental Few-Shot Object Detection via Self-Supervised Learning

Na Dong, Yongqiang Zhang+2 more|arXiv (Cornell University)|May 9, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、自己教師あり学習と知識蒸留を活用して、少数の新規クラスサンプルでの学習時に深刻な忘却や過学習を軽減する、インクリメンタル・フェイシュートオブジェクト検出のための新規フレームワーク、Incremental-DETRを提案する。クラスに依存しないコンポonent（バックボーン、トランスフォーマー、回帰ヘッド）を凍結し、クラスに特化したコンポーネント（投影層、分類ヘッド）のみを微調整することで、選択的探索によって生成された疑似アノテーションを自己教師あり学習に用いる。この手法により、COCOおよびVOCにおける1-shot、5-shot、10-shot設定で最先端の性能を達成する。

ABSTRACT

Incremental few-shot object detection aims at detecting novel classes without forgetting knowledge of the base classes with only a few labeled training data from the novel classes. Most related prior works are on incremental object detection that rely on the availability of abundant training samples per novel class that substantially limits the scalability to real-world setting where novel data can be scarce. In this paper, we propose the Incremental-DETR that does incremental few-shot object detection via fine-tuning and self-supervised learning on the DETR object detector. To alleviate severe over-fitting with few novel class data, we first fine-tune the class-specific components of DETR with self-supervision from additional object proposals generated using Selective Search as pseudo labels. We further introduce an incremental few-shot fine-tuning strategy with knowledge distillation on the class-specific components of DETR to encourage the network in detecting novel classes without forgetting the base classes. Extensive experiments conducted on standard incremental object detection and incremental few-shot object detection settings show that our approach significantly outperforms state-of-the-art methods by a large margin.

研究の動機と目的

• 少数のラベル付き新規クラス例のみが利用可能であり、かつトレーニング中にベースクラスデータにアクセスできないインクリメンタル・フェイシュートオブジェクト検出の課題に対処すること。
• ベースクラスの知識を保持しながら新規クラスに適応する中で、フェイシュート学習のシナリオにおける深刻な忘却と過学習を克服すること。
• 新規データに対する段階的微調整の前段階として、オブジェクト候補から得られる自己教師あり信号を有効に活用し、クラスに特化したコンポーネントを事前学習する手法を開発すること。
• DETRアーキテクチャにおけるクラスに依存しないコンポーネントとクラスに特化したコンポーネントを分離することで、低データ環境における一般化性能と耐障害性を向上させること。
• COCOからVOCへのドメイン一般化を実現し、最小限の性能低下で転送性を示すことで、クロスデータセット評価を通じて一般化性能を向上させること。

提案手法

• 実証的アブレーションを通じて、DETRにおけるクラスに特化したコンポーネント（投影層、分類ヘッド）とクラスに依存しないコンポーネント（CNNバックボーン、トランスフォーマーのエンコーダ・デコーダ、回帰ヘッド）を同定する。
• 2段階の微調整を適用する：第1段階では、選択的探索による疑似ラベルを用いて、ベースデータ上で自己教師あり学習によりクラスに特化したコンポーネントを事前学習する。第2段階では、少数の新規クラスデータに対してのみクラスに特化したコンポーネントを微調整する。
• 事前学習段階で、自己教師あり学習のためにオブジェクト候補を生成する選択的探索を用い、クラスに特化したヘッドを疑似正例で自己監督することで、限られたデータでの過学習を軽減する。
• 段階的微調整の過程で知識蒸留を適用し、ベースモデルから新しいモデルへの知識転送を実現することで、ベースクラスの性能を維持する。
• 両段階を通じてクラスに依存しないコンポーネントを凍結することで、深刻な忘却を防ぎ、新規クラスに対する学習の安定性を高める。
• 第1段階では、疑似ラベルと本物のラベルの両方を用いたマルチタスク学習で標準的なDETR損失を最適化する。第2段階では、本物の新規ラベルのみを用いる。

実験結果

リサーチクエスチョン

• RQ1 疑似ラベル付きオブジェクト候補を用いた自己教師あり学習は、フェイシュートオブジェクト検出における一般化性能の向上と過学習の低減に寄与するか？
• RQ2 少数の新規クラスサンプルでの微調整において、知識蒸留はベースクラスの性能を維持するためにどの程度効果的か？
• RQ3 クラスに依存しないコンポーネントとクラスに特化したコンポーネントを分離することで、エンドツーエンド微調整と比較してインクリメンタル・フェイシュートオブジェクト検出の性能が向上するか？
• RQ4 新規データの分布がベースデータとは異なるクロスデータセットのシナリオにおいて、この手法はどの程度一般化できるか？
• RQ5 段階的微調整の過程でクラスに依存しないコンポーネントを凍結することは、深刻な忘却と全体の検出精度にどのような影響を与えるか？

主な発見

• COCOデータセットにおいて、1-shot設定では22.5%のAPおよび36.0%のAP50を達成し、iMTFA（21.7% AP、31.6% AP50）を顕著に上回る。
• 5-shot設定では、24.9%のAPおよび39.6%のAP50を達成し、iMTFA（19.6% AP、28.1% AP50）を上回る。
• 10-shot設定では、24.1%のAPおよび38.6%のAP50を達成し、iMTFA（19.3% AP、27.5% AP50）を大幅に上回る。
• クロスデータセットのVOCベンチマークでは、5-shot設定で16.6%のAPを達成し、ONCE（2.4% AP）を大きく上回り、10-shot設定では24.6%のAPを達成する。
• アブレーションスタディにより、クラスに依存しないコンポーネントを凍結し、自己教師あり学習を含む2段階微調整が性能に不可欠であることが確認され、それらを除去すると顕著な精度低下が生じる。
• 1段階の事前学習（自己教師あり学習とベースデータ学習を統合）では、2段階アプローチに比べて性能が劣り、ベースクラスで28.3%のAPを記録する一方、2段階設定では30.5%のAPを達成する。