[論文レビュー] Multi-Task Incremental Learning for Object Detection

Xialei Liu, Hao Yang+3 more|arXiv (Cornell University)|Feb 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 54被引用数 35

ひとこと要約

この論文は、複数のドメインとカテゴリに跨るオブジェクト検出のインクリメンタルトレーニングを研究し、attentive feature distillation (AFD) と adaptive exemplar sampling を導入して catastroph状忘却を緩和、七つのベンチマークで検証する。

ABSTRACT

Multi-task learns multiple tasks, while sharing knowledge and computation among them. However, it suffers from catastrophic forgetting of previous knowledge when learned incrementally without access to the old data. Most existing object detectors are domain-specific and static, while some are learned incrementally but only within a single domain. Training an object detector incrementally across various domains has rarely been explored. In this work, we propose three incremental learning scenarios across various domains and categories for object detection. To mitigate catastrophic forgetting, attentive feature distillation is proposed to leverages both bottom-up and top-down attentions to extract important information for distillation. We then systematically analyze the proposed distillation method in different scenarios. We find out that, contrary to common understanding, domain gaps have smaller negative impact on incremental detection, while category differences are problematic. For the difficult cases, where the domain gaps and especially category differences are large, we explore three different exemplar sampling methods and show the proposed adaptive sampling method is effective to select diverse and informative samples from entire datasets, to further prevent forgetting. Experimental results show that we achieve the significant improvement in three different scenarios across seven object detection benchmark datasets.

研究の動機と目的

• ドメインギャップとカテゴリの違いが、データセット間でのインクリメンタルなオブジェクト検出における忘却にどのように影響するかを調査する。
• バックボーン特徴を共有しつつタスク固有ヘッドを更新するインクリメンタル学習フレームワークを開発する。
• 検出タスクのために下向きと上向きの注意を活用する注意蒸留戦略を設計する。
• 前のタスクのデータが限られている場合の忘却を緩和するための exemplars sampling メソッドを提案する。

提案手法

• 複数のオブジェクト検出データセットに跨る3つの非自明なインクリメンタル学習シナリオを提案する。
• ground-truth boxes によって導かれるトップダウンの注意と組み合わせた bottom-up 自己注意を組み合わせた attentive feature distillation (AFD) を導入する。
• AFD を feature maps に適用した bottom-up L_BU_AFD と top-down L_TD_AFD の損失の組み合わせとして定式化する。
• L_AFD を標準検出損失と組み合わせて増分学習目的関数として組み合わせる: L = L_det^B + L_det^A + lambda * L_AFD。
• 各クラスごとに多様で有益な exemplars を選択するための3つの exemplar sampling 戦略（random、hard、adaptive）と適応的サンプリングスキームを開発する。
• フレームワークを2タスク以上に拡張し、さまざまなドメイン・カテゴリ構成で忘却を分析する。

実験結果

リサーチクエスチョン

• RQ1 インクリメンタルなオブジェクト検出において、ドメインギャップとカテゴリの違いは破局的忘却にどのように影響するのか？
• RQ2 AFD（attentive feature distillation）は、新しいドメインや新しいカテゴリを段階的に学習する際の忘却を低減できるか？
• RQ3 忘却を緩和するうえでサンプル exemplars はどんな役割を果たし、どのサンプリング戦略が最も効果的か？

主な発見

• ドメインギャップは、インクリメンタルなオブジェクト検出における忘却に対して、カテゴリ差よりも影響が小さい傾向がある。
• bottom-up と top-down の両方の注意を用いた AF D は、いくつかのシナリオで joint training に近い性能を達成できる。
• ドメインとカテゴリの大きなシフトを伴う困難なケースでは、サンプルベースのリハーサルが忘却をさらに低減し、adaptive sampling が random や hard sampling を上回る。
• AFD ベースの手法は、ベースラインよりも大きな改善を示し、複数のデータセットペア（KITTI, Kitchen; Comic, Watercolor; VOC, COCO）で joint training の性能に近づく。
• フレームワークは三段階および六段階のタスク列へ拡張可能で、エグザンプラーを用いたファインチューニングと比較して頑健性を維持し忘却を低減する。