[論文レビュー] Efficient Incremental Learning for Mobile Object Detection

Dawei Li, Şerafettin Taşcı+4 more|arXiv (Cornell University)|Mar 26, 2019

Advanced Neural Network Applications被引用数 7

ひとこと要約

本稿では、災害的忘却を防ぎながら、新しいオブジェクトクラスをリアルタイムで学習できる、効率的なインクリメンタル学習システムであるIMODを提案する。分類、回帰、特徴抽出の各分野において事前学習済みモデルからの知識蒸留を実施し、リアルタイムのデータセット構築パイプラインを活用することで、IMODは新しいクラスの学習を数分で完了する。従来のファインチューニングとは異なり、数時間にわたる学習と手作業のラベル付けを必要としない。

ABSTRACT

Object detection models shipped with camera-equipped mobile devices cannot cover the objects of interest for every user. Therefore, the incremental learning capability is a critical feature for a robust and personalized mobile object detection system that many applications would rely on. In this paper, we present an efficient yet practical system, IMOD, to incrementally train an existing object detection model such that it can detect new object classes without losing its capability to detect old classes. The key component of IMOD is a novel incremental learning algorithm that trains end-to-end for one-stage object detection deep models only using training data of new object classes. Specifically, to avoid catastrophic forgetting, the algorithm distills three types of knowledge from the old model to mimic the old model's behavior on object classification, bounding box regression and feature extraction. In addition, since the training data for the new classes may not be available, a real-time dataset construction pipeline is designed to collect training images on-the-fly and automatically label the images with both category and bounding box annotations. We have implemented IMOD under both mobile-cloud and mobile-only setups. Experiment results show that the proposed system can learn to detect a new object class in just a few minutes, including both dataset construction and model training. In comparison, traditional fine-tuning based method may take a few hours for training, and in most cases would also need a tedious and costly manual dataset labeling step.

研究の動機と目的

• 展開後、新しいオブジェクトクラスを検出できないモバイルオブジェクト検出器の制限を解消すること。
• モバイルデバイス上でリアルタイムに自動的にデータ収集とラベリングを可能にすることで、手作業によるデータセットラベリングの必要性を排除すること。
• リソース制限のあるモバイルデバイス上でインクリメンタル学習中に災害的忘却を防止しつつ、以前に学習したクラスの高い精度を維持すること。
• 古いデータの再トレーニングや完全な再トレーニングを必要とせず、新しいクラスのデータのみを用いて効率的なエンドツーエンドのトレーニングを実現すること。

提案手法

• 事前学習済みモデルから分類、ボクシングボックス回帰、特徴抽出の3種類の知識を新しいモデルに蒸留する、新しいインクリメンタル学習アルゴリズムを設計する。
• 未知のデータに対して旧モデルの挙動を保持するための知識蒸留を適用し、安定性を確保するとともに、忘却を最小限に抑える。
• デバイス上で画像を収集し、自動的にカテゴリとボクシングボックスのラベルを生成するリアルタイムのデータセット構築パイプラインを実装する。
• モバイルデバイス専用とモバイル・クラウドの両方の展開をサポートし、デバイスの能力に応じた柔軟性とスケーラビリティを確保する。
• 旧データの再トレーニングや完全な再トレーニングを回避するため、新しいクラスのデータのみを用いてモデルをエンドツーエンドで学習する。
• インクリメンタル学習後のリアルタイム検出を可能にする、軽量でモバイルフレンドリーな推論パイプラインにシステムを統合する。

実験結果

リサーチクエスチョン

• RQ1 旧トレーニングデータへのアクセスがなくても、モバイルオブジェクト検出器で新しいオブジェクトクラスを学習できるインクリメンタル学習システムを設計できるか？
• RQ2 リソース制限のあるモバイルデバイス上で、1段階検出器におけるインクリメンタル学習中に災害的忘却を効果的に緩和できるか？
• RQ3 オンデバイスでのリアルタイムデータ収集と自動ラベリングは、モバイルオブジェクト検出における手作業ラベリングの必要性をどの程度低減できるか？
• RQ4 手作業によるデータラベリングを必要とする従来のファインチューニング手法と比較して、提案手法は学習速度と精度の面でどのように優れているか？
• RQ5 計算オーバーヘッドを最小限に抑えながら、新規クラスおよび以前に学習したクラスの両方で高い検出性能を達成できるか？

主な発見

• IMODは、データセット構築とモデルトレーニングを含めても数分で新しいオブジェクトクラスを学習可能であり、従来のファインチューニング手法を著しく上回る。
• 本システムは、新規クラスおよび以前に学習したクラスの両方で高い精度を達成しており、多段階の知識蒸留により災害的忘却が効果的に抑制されていることが示された。
• オンザフライのデータセット構築パイプラインは、人為的介入なしに高品質な自動ラベリング済みトレーニングデータを効果的に生成した。
• 従来のファインチューニングと比較して、IMODはデータ収集とラベリングを含めても、学習時間を数時間から数分に短縮した。
• 本手法は多様なオブジェクトカテゴリにおいて強力な検出性能を維持しており、実世界のモバイルデプロイメント環境における頑健性と一般化能力を確認した。