[論文レビュー] RODEO: Replay for Online Object Detection

Manoj Acharya, Tyler L. Hayes+1 more|arXiv (Cornell University)|Aug 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 27

ひとこと要約

RODEOは、継続的学習における深刻な忘却を軽減するために、圧縮された中レベルCNN特徴の再再生を利用する、新しいストリーミングオンラインオブジェクト検出フレームワークを提案する。固定容量のバッファから量子化された特徴表現を保存・再再生することで、RODEOはPASCAL VOC 2007およびMS COCOで最先端の性能を達成し、フルオフライン学習に比べて40倍の高速化を実現した。

ABSTRACT

Humans can incrementally learn to do new visual detection tasks, which is a huge challenge for today's computer vision systems. Incrementally trained deep learning models lack backwards transfer to previously seen classes and suffer from a phenomenon known as $"catastrophic forgetting."$ In this paper, we pioneer online streaming learning for object detection, where an agent must learn examples one at a time with severe memory and computational constraints. In object detection, a system must output all bounding boxes for an image with the correct label. Unlike earlier work, the system described in this paper can learn this task in an online manner with new classes being introduced over time. We achieve this capability by using a novel memory replay mechanism that efficiently replays entire scenes. We achieve state-of-the-art results on both the PASCAL VOC 2007 and MS COCO datasets.

研究の動機と目的

• 限られたメモリと計算リソースの中で、継続的学習において新しいクラスを段階的に学習する必要があるオンラインオブジェクト検出における深刻な忘却の課題に対処すること。
• バッチ更新や再学習に依存せずに、1枚の画像を1回ずつ処理する真のストリーミング学習を可能にすること。
• 生画像ではなく、圧縮された表現を保存・再再生する生物学的にインspiredな再生成メカニズムを開発し、メモリ効率を向上させること。
• PASCAL VOC 2007およびMS COCOにおいて、インクリメンタル学習設定下で最先端の性能を達成し、バッチベースのインクリメンタル手法を上回ること。
• ロボティクスプラットフォームなど、組み込み型またはリソース制限のあるデバイスへのリアルタイムデプロイメントに適したシステムを設計すること。

提案手法

• 凍結された特徴抽出器（G）と段階的に更新される可塑性のある検出ヘッド（F）からなる二重ストリームネットワークアーキテクチャを採用する。
• 入力画像から中レベルのCNN特徴を抽出し、コン act でメモリ効率の良い表現に量子化する。
• これらの量子化済み特徴を、後続の学習における再生成のために固定容量のメモリバッファに保存する。
• 学習中に、現在の画像の特徴とバッファからランダムに抽出された保存済み特徴のサブセットを混合し、可塑性層を更新する。
• 再生成損失を適用して再生成された特徴を再構築することで、以前に学習したクラスの知識を保持する。
• 限られたメモリ容量を管理するため、バッファの交換戦略（例：ランダム、クラスバランス、オブジェクト数に基づく）を採用する。

実験結果

リサーチクエスチョン

• RQ1 圧縮された特徴に基づくメモリ効率の良い再生成メカニズムは、ストリーミングオブジェクト検出における深刻な忘却を効果的に防止できるか？
• RQ2 1サンプルずつ段階的に学習するオンラインオブジェクト検出は、バッチベースのインクリメンタル学習と比較して、精度と効率の面でどのように異なるか？
• RQ3 中レベル特徴を用いた再生成メカニズムは、生画像の再生成や知識蒸留と比較して、継続的オブジェクト検出において優れているか？
• RQ4 異なるバッファ交換戦略が、メモリ制限下での長期的なモデル性能に与える影響は何か？
• RQ5 提案手法は、関係性の理解を要する視覚的クエリ検出（VQD）のようなマルチモーダル検出タスクに拡張可能か？

主な発見

• RODEOは、インクリメンタル学習下でPASCAL VOC 2007およびMS COCOの両方で、最先端の平均平均精度（mAP）を達成し、既存のバッチベースのインクリメンタル手法を上回った。
• RODEOは、オフライン学習の873時間から22時間へと合計学習時間を短縮し、40倍の高速化を達成したが、優れた検出精度を維持した。
• 訓練時間は速いものの、mAPと推論効率の両面で、微調整やSLDA+Regressベースラインを著しく上回った。
• 生画像の再生成や知識蒸留と比較して、量子化された中レベル特徴の再生成が、以前に学習したクラスの知識保持にさらに効果的であることが示された。
• 固定されたメモリ予算のもとで40回のインクリメンタル学習イテレーションを経ても、モデルは強固な性能を維持し、深刻な忘却に対する耐性を示した。
• フレームワークは汎用的であり、言語クエリに応答できるように検出ヘッドを変更することで、視覚的クエリ検出のようなマルチモーダルタスクに容易に適応可能である。