[論文レビュー] ClickBAIT-v2: Training an Object Detector in Real-Time

Ervin Teng, Rui Huang+1 more|arXiv (Cornell University)|Mar 27, 2018

Advanced Neural Network Applications参考文献 16被引用数 6

ひとこと要約

ClickBAIT-v2 は、インタラクティブセグメンテーションを用いて単一のクリックからバウンディングボックスを生成し、オブジェクト追跡を活用することで、ライブビデオストリーム上でオブジェクト検出器をリアルタイムで人間を含めた学習が可能にする。このシステムは、1フレームごとのクリックに比べて、ユーザーの1回のインタラクションあたりの学習効率を3〜4倍向上させ、ドローン（UAV）のような動的環境におけるオンラインモデル適応を可能にする。

ABSTRACT

Modern deep convolutional neural networks (CNNs) for image classification and object detection are often trained offline on large static datasets. Some applications, however, will require training in real-time on live video streams with a human-in-the-loop. We refer to this class of problem as time-ordered online training (ToOT). These problems will require a consideration of not only the quantity of incoming training data, but the human effort required to annotate and use it. We demonstrate and evaluate a system tailored to training an object detector on a live video stream with minimal input from a human operator. We show that we can obtain bounding box annotation from weakly-supervised single-point clicks through interactive segmentation. Furthermore, by exploiting the time-ordered nature of the video stream through object tracking, we can increase the average training benefit of human interactions by 3-4 times.

研究の動機と目的

• ライブビデオストリーム上で最小限の人的アノテーションでリアルタイムにオブジェクト検出器を学習する課題に対処すること。
• 手動によるバウンディングボックスの描画を単一クリックに置き換えることで、オンライン学習における人的作業を削減すること。
• オブジェクト追跡による時間的連続性を活用することで、1回のユーザーインタラクションの有効性を向上させること。
• 時間順オンライン学習（ToOT）シナリオにおける、1回のユーザーインタラクションごとの累積的学習効果を評価すること。
• UAVのような自律システムが予期しない環境変化に直面する状況において、継続的で現場でのモデル適応を可能にすること。

提案手法

• ユーザーがビデオフレーム内の対象オブジェクトをクリックすることで、インタラクティブセグメンテーションモデルに入力され、正確なオブジェクトマスクが生成される。
• 生成されたマスクが、オブジェクト検出器の学習に使用するタイトなバウンディングボックスに変換される。
• 検出されたバウンディングボックスを用いてオブジェクト追跡が初期化され、追加のユーザー入力なしに後続フレームへのアノテーションを伝搬する。
• 時間順序ビデオシーケンスを活用して、フレーム間でアノテーションを再利用することで、重複するユーザーインタラクションを削減する。
• 各ユーザーインタラクションがモデル性能に与える影響を定量化するため、累積的学習効果（ITB）を指標として用いる。
• 追跡の有無にかかわらず、複数のシナリオにおいて、1回のインタラクションあたりの平均ITBを測定し、学習効率を比較する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムオブジェクト検出において、単一クリックによるアノテーションがバウンディングボックスを生成するのにどれほど有効であるか。
• RQ2 時間順オンライン学習において、オブジェクト追跡が1回のユーザーインタラクションの学習効果をどの程度拡大するか。
• RQ3 累積的学習効果（ITB）はフレームごとにどのように変化するか。特定のフレームが他のフレームよりも価値が高いか。
• RQ4 弱教師付きのクリック入力と追跡を組み合わせることで、著しく少ないユーザーインタラクションで同等のモデル性能を達成できるか。
• RQ5 ビデオストリームの時間的構造により、フレーム単位のアノテーションに比べて、より効率的なオンライン学習が可能になるか。

主な発見

• CarChaser シナリオでは、オブジェクト追跡により、1回のユーザーインタラクションあたりの平均累積的学習効果（ITB）が 4.50 倍向上した。
• PersonFinder シナリオでは、オブジェクト追跡により、平均ITBが 3.07 倍に向上し、必要なユーザーインタラクション数が 197 回から 65 回に削減された。
• 追跡を有効にした場合、CarChaser では最終的な平均平均精度（Pf）が 76.5%、PersonFinder では 58.1% を達成し、著しく少ないユーザーインタラクション数で実現した。
• 初期の学習フレーム、特に背景が疎なフレームは、初期のITB値が低いため、モデルの改善にあまり寄与しないことが示された。
• 追跡を有効にした戦略では、435 回のインタラクションを要する追跡なしの場合に比べ、全 96 回のインタラクションで、よりスパarsely だがより効果的な学習ラウンドが得られた。
• 結果として、オブジェクト追跡により、人的入力の有効性が 3〜4 倍に増幅され、自律システムにおけるリアルタイムオンライン学習が実用的であることが示された。