[論文レビュー] Faster ILOD: Incremental Learning for Object Detectors based on Faster RCNN

Can Peng, Kun Zhao+1 more|arXiv (Cornell University)|Mar 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 6

ひとこと要約

本稿では、Faster R-CNNに基づくエンドツーエンドのインクリメンタルオブジェクト検出フレームワーク「Faster ILOD」を提案する。Faster R-CNNのRPNの頑健性を活用し、複数のネットワークを用いた適応的 distillation を用いることで、深刻な忘却を緩和する。RPNの欠落したアノテーションに対する耐性と、複数のネットワーク間での知識蒸留を活用することで、PASCAL VOCおよびCOCOデータセットにおいて、従来手法に比べ13倍高速な推論と最大5.92%高い平均平均精度（mAP）を達成した。

ABSTRACT

The human vision and perception system is inherently incremental where new knowledge is continually learned over time whilst existing knowledge is retained. On the other hand, deep learning networks are ill-equipped for incremental learning. When a well-trained network is adapted to new categories, its performance on the old categories will dramatically degrade. To address this problem, incremental learning methods have been explored which preserve the old knowledge of deep learning models. However, the state-of-the-art incremental object detector employs an external fixed region proposal method that increases overall computation time and reduces accuracy comparing to Region Proposal Network (RPN) based object detectors such as Faster RCNN. The purpose of this paper is to design an efficient end-to-end incremental object detector using knowledge distillation. We first evaluate and analyze the performance of the RPN-based detector with classic distillation on incremental detection tasks. Then, we introduce multi-network adaptive distillation that properly retains knowledge from the old categories when fine-tuning the model for new task. Experiments on the benchmark datasets, PASCAL VOC and COCO, demonstrate that the proposed incremental detector based on Faster RCNN is more accurate as well as being 13 times faster than the baseline detector.

研究の動機と目的

• 古い学習データにアクセスできない状況下で、インクリメンタル学習中にオブジェクト検出器が深刻な忘却を起こさないよう対処すること。
• 外部の固定された領域提案ネットワークに依存する従来のインクリメンタル検出器の限界を克服すること。これにより推論が遅くなり、精度も低下する。
• エンドツーエンドで動作する、RPNに基づくインクリメンタル検出フレームワークを設計し、古いクラスの性能を維持しながら、新しいクラスを効率的に学習すること。
• 古いデータが入手不可であるか、再アノテーションが現実的でないような実世界のシナリオにおいて、一般化性能と頑健性を向上させること。
• 複数のネットワークを用いた適応的蒸留が、インクリメンタル微調整中に過去のクラスの知識を効果的に保持できることを示すこと。

提案手法

• インクリメンタル検出において、古いクラスのアノテーションが欠落している状況下でも、RPNがどのように耐性を示すかを評価し、アノテーションの部分的欠落に耐えられるアノテーション選択メカニズムを同定した。
• Faster R-CNNに基づき、外部の提案ネットワークを置き換えることで学習可能なRPNを搭載したエンドツーエンドのインクリメンタル学習フレームワーク「Faster ILOD」を提案した。
• 微調整中に、複数の過去のモデルバージョンから現在のモデルへ知識を転送する、複数ネットワーク適応的蒸留を実装した。
• 知識蒸留を用いて、古いモデルのソフトラベルを現在の検出器へ転送し、古いクラスの検出信頼度と特徴表現を保持した。
• 現在のモデルと過去のモデルの間だけでなく、複数の過去のモデル間に対しても蒸留損失を適用し、知識保持の安定性を高めた。
• 新しいクラスのアノテーションのみを用いて、Faster R-CNNネットワーク全体をエンドツーエンドで微調整し、蒸留された知識を活用して忘却を防いだ。

実験結果

リサーチクエスチョン

• RQ1 Faster R-CNNのRPNは、インクリメンタルオブジェクト検出において、古いクラスのアノテーションが欠落している状況でも耐性を示せるか？
• RQ2 複数ネットワーク適応的蒸留は、インクリメンタル学習中に事前に学習したクラスの検出性能を効果的に保持できるか？
• RQ3 固定された外部領域提案ネットワークに依存する従来手法と比較して、エンドツーエンドのRPNベースのインクリメンタル検出器は、速度と精度の両面で優れているか？
• RQ4 異なるインクリメンタル学習の順序やクラスの難易度レベルに応じて、本手法の性能はどのように変化するか？
• RQ5 本手法は、新しいクラスの高精度を維持しつつ、深刻な忘却をどの程度軽減できるか？

主な発見

• Faster R-CNNのRPNは、アノテーションベースの提案メカニズムのおかげで、古いクラスのアノテーションが欠落している状況においても、内在的に耐性を示す。これにより、インクリメンタル学習中に部分的なラベル付けが可能となった。
• Faster ILODは、外部の提案ネットワークを搭載したFast R-CNNに基づくILODと比較して、13倍高速な推論を達成した。PASCAL VOCでResNet-50を用いた場合、1枚あたりの平均検出時間は1396.66 msから109.52 msに短縮された。
• PASCAL VOCでは、Faster ILODはILOD（Fast R-CNNベース）に比べて平均mAPで5.78%向上し、Faster R-CNNに適用したILODに比べて1.67%向上した。これは1クラスずつ追加するマルチステップインクリメンタル学習において得られた結果である。
• COCOでは、Faster ILODはILODに比べてmAPで5.92%向上し、Faster R-CNNに適用したILODに比べて2.74%向上した（IoU=0.5）。さらに高いIoUスコアでも向上が見られた。
• 本手法は、さまざまな学習順序において一貫した改善を示した。特に「person」のような頻繁に他のクラスと共起する難易度の高いカテゴリを学習する際、最大の向上が観察された。
• 古いデータが不足しているか、アノテーションが欠落している状況では、適応的蒸留機構が最も効果的であることが実証された。特にアノテーション欠落率が高く、大規模なトレーニングデータを有するカテゴリで、より高い向上が得られた。