[論文レビュー] Two-Level Residual Distillation based Triple Network for Incremental Object Detection

Dongbao Yang, Yu Zhou+4 more|arXiv (Cornell University)|Jul 27, 2020

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 17

ひとこと要約

本論文は、2段階の残差 distillation を用いた三重ネットワークフレームワークを提案し、元の学習データにアクセスできない状況下でも、Faster R-CNN モデルが新しいクラスを学習しながら古いクラスを忘れないようにする。固定された古いモデルと共同で学習される残差モデルを用いて、特徴の識別性と知識を保持する。本手法は、VOC2007 および COCO で最先端の性能を達成し、極めて少ない catastrophic forgetting を実現する。

ABSTRACT

Modern object detection methods based on convolutional neural network suffer from severe catastrophic forgetting in learning new classes without original data. Due to time consumption, storage burden and privacy of old data, it is inadvisable to train the model from scratch with both old and new data when new object classes emerge after the model trained. In this paper, we propose a novel incremental object detector based on Faster R-CNN to continuously learn from new object classes without using old data. It is a triple network where an old model and a residual model as assistants for helping the incremental model learning on new classes without forgetting the previous learned knowledge. To better maintain the discrimination of features between old and new classes, the residual model is jointly trained on new classes in the incremental learning procedure. In addition, a corresponding distillation scheme is designed to guide the training process, which consists of a two-level residual distillation loss and a joint classification distillation loss. Extensive experiments on VOC2007 and COCO are conducted, and the results demonstrate that the proposed method can effectively learn to incrementally detect objects of new classes, and the problem of catastrophic forgetting is mitigated in this context.

研究の動機と目的

• 元の学習データにアクセスできない状況下で、新しいクラスが導入されるインクリメンタルオブジェクト検出において、catastrophic forgetting を解消すること。
• 継続的学習の文脈において、以前に学習したクラスの高い性能を維持しながら、新しいオブジェクトクラスに適応すること。
• インクリメンタル学習中に、古いクラスと新しいクラスの間の特徴の識別性を向上させること。
• 古いデータを再学習せずに、両方の古いデータおよび新しいデータからの知識を保持する効果的な distillation パターンを設計すること。
• VOC2007 や COCO のようなインクリメンタル検出ベンチマークで、強力な一般化性能と頑健性を達成すること。

提案手法

• インクリメンタルモデル、固定された古いモデル（OM）、および新しいクラスで共同で学習される残差モデル（RM）からなる三重ネットワークアーキテクチャを導入。
• 古いモデルが2段階のしきい値戦略を用いて、偽の正解アノテーションと知識 distillation のシグナルを提供し、学習の安定化を図る。
• バックボーンの特徴マップおよびプールドされた領域特徴に対して、2段階の残差 distillation 損失を適用し、古いクラスと新しいクラスの間の特徴の識別性を保持する。
• インクリメンタルモデルの出力ログitを、古いモデルおよび残差モデルの両方の出力と一致させるために、共同分類 distillation 損失を用いる。
• 残差モデルは、インクリメンタルモデルと古いモデルの差分を学習し、新しいクラスへの適応に注力することで、忘れの緩和に寄与する。
• 偽ラベルの品質を向上させ、古いクラスにおける知識 distillation を強化するために、2段階のしきい値学習戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 残差モデルを有する三重ネットワークアーキテクチャは、インクリメンタルオブジェクト検出における catastrophic forgetting を効果的に低減できるか？
• RQ2 2段階の残差 distillation は、古いクラスと新しいクラスの間の特徴識別性をどのように向上させるか？
• RQ3 古いモデルと残差モデルの両方からの共同分類 distillation は、単一ソースの distillation と比較して、どの程度の貢献を果たすか？
• RQ4 2段階のしきい値戦略は、インクリメンタル学習中に古いクラスの信頼性の高い偽ラベルを生成するためにどの程度効果的か？
• RQ5 提案手法は、標準ベンチマーク（VOC2007 や COCO）において、既存のインクリメンタルオブジェクト検出手法と比較して優れた性能を達成できるか？

主な発見

• 10個の新しいクラスを追加した場合、COCOで平均 mAP 72.13% を達成し、ベースライン手法を上回り、優れた一般化性能を示した。
• 2段階の残差 distillation と共同分類 distillation の組み合わせにより、10個の新しいクラスを追加した際のベースライン平均 mAP に対して1.65% の向上を達成した。
• 1つの新しいクラスを追加した際の2段階の残差 distillation 損失は、mAP を2.71% 向上させ、古いクラスのパフォーマンス維持における強力な有効性を示した。
• 2段階のしきい値学習戦略は、平均で mAP を0.95% 向上させ、古いクラスにおける知識 distillation の安定化に寄与していることを確認した。
• 提案された L1-ノルム特徴 distillation を標準的な L1 損失に置き換えた場合、平均で mAP が0.94% 減少した。これは、設計の優位性を裏付けた。
• 古いモデルと残差モデルの両方からの共同 distillation は、古いモデルからのみの distillation と比較して、mAP を0.28% 向上させた。これは、マルチソース知識伝達の利点を確認した。