[論文レビュー] RILOD: Near Real-Time Incremental Learning for Object Detection at the Edge

Dawei Li, Şerafettin Taşcı+4 more|arXiv (Cornell University)|Mar 26, 2019

Advanced Neural Network Applications参考文献 32被引用数 6

ひとこと要約

RILODは、エッジデバイスにおけるオブジェクト検出のためのニアリアルタイムでインクリメンタルな学習システムを提案する。知識蒸留を用いて、過去の学習データにアクセスせずに、新規クラスのデータのみで学習することで、深刻な忘却を防ぐ。自動でリアルタイムにデータセットを構築するパイプラインを活用し、1クラスあたり2分未塔の学習が可能となり、最小限の精度損失で実用的なデバイス内でのカスタマイズを実現する。

ABSTRACT

Object detection models shipped with camera-equipped edge devices cannot cover the objects of interest for every user. Therefore, the incremental learning capability is a critical feature for a robust and personalized object detection system that many applications would rely on. In this paper, we present an efficient yet practical system, RILOD, to incrementally train an existing object detection model such that it can detect new object classes without losing its capability to detect old classes. The key component of RILOD is a novel incremental learning algorithm that trains end-to-end for one-stage deep object detection models only using training data of new object classes. Specifically to avoid catastrophic forgetting, the algorithm distills three types of knowledge from the old model to mimic the old model's behavior on object classification, bounding box regression and feature extraction. In addition, since the training data for the new classes may not be available, a real-time dataset construction pipeline is designed to collect training images on-the-fly and automatically label the images with both category and bounding box annotations. We have implemented RILOD under both edge-cloud and edge-only setups. Experiment results show that the proposed system can learn to detect a new object class in just a few minutes, including both dataset construction and model training. In comparison, traditional fine-tuning based method may take a few hours for training, and in most cases would also need a tedious and costly manual dataset labeling step.

研究の動機と目的

• すべての過去のクラスを再学習せずに、ユーザー固有の新規オブジェクトクラスのためのパーソナライズドでデバイス内でのオブジェクト検出を可能にする課題に対処すること。
• インクリメンタル学習中に1段階オブジェクト検出器で発生する深刻な忘却を、知識蒸留を用いて克服すること。
• エッジオンativeまたはエッジクラウドアーキテクチャでの実用的でエンドツーエンドのシステムを構築し、実世界での展開に適した効率的な動作を実現すること。
• ウェブからリアルタイムに画像を収集・ラベル付けすることで、境界ボックスとカテゴリを含む新規オブジェクトクラスのためのデータセット作成を自動化すること。
• 1クラスあたり2分未塔の高速インクリメンタル学習を達成しつつ、高い検出精度を維持すること。

提案手法

• 旧モデルから3種類の知識（分類確率、境界ボックス回帰出力、中間特徴表現）を知識蒸留により転送する。
• 新規モデルを、旧クラスの予測が変化しないように制約する蒸留損失を用いて、新規クラスのデータのみで学習する。
• ウェブクロールド画像において、事前学習済みImageNet分類器を用いて、候補となるオブジェクトを自動的に検出・局所化してデータセット構築に活用する。
• 画像のダウンロード、境界ボックスのアノテーション生成、リアルタイムでのトレーニングデータセットの即時構築を実現するリアルタイムパイプラインを実装する。
• GPUアクセラレーションを活用したクラウドサーバーでのモデル学習、またはJetson TX2を用いたデバイス内での学習を両方サポートする。
• 学習時間を短縮しつつ、妥当な精度を維持するため、小規模な入力サイズ（例：512×512）を用いる。入力解像度の影響に関するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 過去の学習データにアクセスできないエッジデバイスにおいて、オブジェクト検出のインクリメンタル学習を効率的に行うことは可能か？
• RQ2 インクリメンタル学習中に1段階オブジェクト検出器で深刻な忘却を効果的に緩和できるか？
• RQ3 ウェブ画像からリアルタイムに自動化されたデータセット構築が、新規クラスの高精度な境界ボックスとカテゴリラベルを達成できるか？
• RQ4 実用的なエッジデバイス展開において、新規オブジェクトクラスのインクリメンタル学習のエンドツーエンドの学習遅延はどの程度か？
• RQ5 モデルアーキテクチャと入力解像度は、インクリメンタル学習における学習速度と検出精度のトレードオフにどのように影響するか？

主な発見

• RILODは、1つのGPUで新規オブジェクトクラスのインクリメンタル学習を2分未塔で実行でき、エッジクラウド構成では合計119秒のシステム時間で達成された。
• 従来のファインチューニング手法（通常数時間必要）と比較して、学習時間を38倍短縮した。
• 入力サイズを512×512として、10例の場合1エポックあたり8.3秒、30例の場合14.1秒と、線形スケーリングの傾向を示した。
• 新規クラスのデータでのみ学習しているにもかかわらず、知識蒸留により旧知識を保持することで、高い検出精度を維持した。
• GPUリソースが優れているため、エッジクラウド構成はエッジオンリーよりもはるかに高速であり、モデル学習時間は83秒（クラウド）対233秒（Jetson TX2）であった。
• リアルタイムデータセット構築パイプラインは、ウェブ画像から高精度のアノテーションを効果的に生成でき、手動ラベリングの必要性を排除した。