[論文レビュー] Lifelong Object Detection

Zhou Wang, Shiyu Chang+3 more|arXiv (Cornell University)|Sep 2, 2020

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 25

ひとこと要約

本稿では、Faster R-CNNに基づく継続的物体検出フレームワークを提案し、領域提案ネットワーク（RPN）および領域分類器（R-CNN）の両方で知識蒸留を用いて、過去の学習データにアクセスできない状況下でも深刻な忘却を軽減する。さらに、偽陽性に配慮したサンプリング（PPAS）戦略を導入し、より良いサンプル選択を実現した。この手法は、ベースライン手法と比較して6倍の高速化を達成し、mAP性能においても競争力を持つため、リアルタイム応用に適している。

ABSTRACT

Recent advances in object detection have benefited significantly from rapid developments in deep neural networks. However, neural networks suffer from the well-known issue of catastrophic forgetting, which makes continual or lifelong learning problematic. In this paper, we leverage the fact that new training classes arrive in a sequential manner and incrementally refine the model so that it additionally detects new object classes in the absence of previous training data. Specifically, we consider the representative object detector, Faster R-CNN, for both accurate and efficient prediction. To prevent abrupt performance degradation due to catastrophic forgetting, we propose to apply knowledge distillation on both the region proposal network and the region classification network, to retain the detection of previously trained classes. A pseudo-positive-aware sampling strategy is also introduced for distillation sample selection. We evaluate the proposed method on PASCAL VOC 2007 and MS COCO benchmarks and show competitive mAP and 6x inference speed improvement, which makes the approach more suitable for real-time applications. Our implementation will be publicly available.

研究の動機と目的

• 過去の学習データにアクセスできない状況下で、新しいクラスが逐次追加される物体検出において、深刻な忘却を回避すること。
• 新しいクラスに対して事前学習済みのFaster R-CNNモデルを段階的に精緻化することで、物体検出における継続的学習を可能にすること。
• 過去のデータを再学習せずに、旧クラスおよび新クラスの両方の検出性能を向上させること。
• 領域提案の数を削減することで推論効率を向上させつつ、高い再現率を維持すること。
• 以前に学習したクラスの知識を保持するために、有用なサンプルを優先して選択するサンプリング戦略を開発すること。

提案手法

• 事前学習済みの検出器を教師モデルとして用い、インクリメンタル学習中に生徒モデルをガイドする知識蒸留を適用する。
• Faster R-CNNのRPNおよびR-CNN部品の両方に対して蒸留損失を適用し、以前に学習したクラスの検出性能を維持する。
• 教師モデルが出力する偽陽性スコアに基づき、高価値なアンカーおよびRoIを選択する、偽陽性に配慮したサンプリング（PPAS）戦略を導入する。
• 蒸留損失（忘却防止用）と教師付きクロスエントロピー損失（新クラス学習用）の組み合わせによる損失関数を用いる。
• 推論時にRPNを動的に調整し、より少ないが関連性の高い提案領域を生成することで、計算オーバーヘッドを低減する。
• 教師モデルの知識を保持したまま、新しいクラスに対して生徒モデルを段階的に学習させ、データリプレイなしに継続的学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 新しいクラスが段階的に追加される状況下で、知識蒸留が物体検出における深刻な忘却を効果的に防止できるか。
• RQ2 偽陽性に配慮したサンプリング（PPAS）は、ランダムまたは単純なサンプリング戦略と比較して、蒸留性能をどのように向上させるか。
• RQ3 提案された継続的検出手法は、過去に学習したクラスのmAPを高い水準に維持しつつ、新クラスにおいても優れた性能を達成できるか。
• RQ4 外部の提案ネットワークを用いるベースライン手法と比較して、この手法は推論速度をどの程度向上させるか。
• RQ5 複数の新しいクラスが逐次バッチで追加される場合、この手法はどの程度スケーラブルか。

主な発見

• PASCAL VOC 2007では、新クラスを追加した後も旧クラスで63.5%のmAPを達成し、蒸留なしでは12.3%にとどまるため、顕著な向上が見られた。
• VOCの「19+1」設定において、本手法は56.7%のmAPを達成し、Seq-Fast（55.2%）を上回った。
• VOCの「10+5+5」設定では、61.8%のmAPを達成し、Seq-Fast（60.8%）を上回り、逐次学習における頑健性を示した。
• MS COCOでは「40+40」設定で42.4%のmAP@0.5および26.4%のmAP@[0.5:0.95]を達成し、Seq-Fast（37.4%および21.3%）を上回り、優れた一般化性能を示した。
• 推論速度は6倍向上し、1枚のK80 GPUで3fpsを達成した。これは、Seq-Fastの0.5fpsと比較して顕著な向上である。これは提案領域の削減と共有特徴計算によるものである。
• アブレーションスタディの結果、PPASは旧クラスの性能を著しく向上させ、PPASなしの蒸留と比較してmAPで51.2%の向上を示した。