[論文レビュー] ClickBAIT: Click-based Accelerated Incremental Training of Convolutional Neural Networks

Ervin Teng, João Diogo Falcão+1 more|arXiv (Cornell University)|Sep 15, 2017

Advanced Neural Network Applications参考文献 12被引用数 6

ひとこと要約

この論文では、小型無人航空機システム（UAS）におけるリアルタイムオブジェクト検出のための時系列順オンライン学習（ToOT）を加速するシステム、ClickBAITを紹介する。局所的学習と光流に基づくオブジェクト追跡を組み合わせることで、1フレーム1タグの標準的手法と比較して、最大8倍の学習効果を達成し、ライブ動画ストリームにおける段階的学習における人間のユーザー操作を顕著に削減する。

ABSTRACT

Today's general-purpose deep convolutional neural networks (CNN) for image classification and object detection are trained offline on large static datasets. Some applications, however, will require training in real-time on live video streams with a human-in-the-loop. We refer to this class of problem as Time-ordered Online Training (ToOT) - these problems will require a consideration of not only the quantity of incoming training data, but the human effort required to tag and use it. In this paper, we define training benefit as a metric to measure the effectiveness of a sequence in using each user interaction. We demonstrate and evaluate a system tailored to performing ToOT in the field, capable of training an image classifier on a live video stream through minimal input from a human operator. We show that by exploiting the time-ordered nature of the video stream through optical flow-based object tracking, we can increase the effectiveness of human actions by about 8 times.

研究の動機と目的

• リアルタイムのライブ動画ストリームにおいて、特に動的または未知のターゲットに対して、最小限の人的入力でCNNを学習する課題に対処すること。
• 各人の操作の有効性を評価するための指標として「学習効果」を定義・定量化すること。
• 小型UASからの人間ラベル付き動画ストリームを用いて、オンボードで段階的に学習可能な分類器を設計・実装するシステムを構築すること。
• 動画ストリームにおける時間的整合性—光流追跡を介して—が、重複するラベルの削減と学習効率の向上にどのように寄与するかを調査すること。
• 局所的学習と光流追跡を組み合わせることで、1回のユーザー操作あたりの段階的学習効果が顕著に向上することを実証すること。

提案手法

• システムは、連続する動画フレーム間でのオブジェクト追跡に光流を用い、時間的に一貫したバウンディングボックスのラベリングを可能にし、重複するユーザー入力を削減する。
• トラッキングされたオブジェクトの周囲の領域（ROI）に限定してCNNを学習する局所的学習を実装することで、サンプル効率を向上させる。
• ユーザーの操作は、ポジティブまたはネガティブな例をラベル付ける「クリック」としてモデル化され、各クリックがモデルの重みを段階的に更新する。
• バッチサイズを2および8として、半オンライン学習（1クリックごとに1フレーム）と、局所的学習および光流強化学習を比較する学習戦略を採用する。
• ユーザー操作ごとのインクリメンタル学習効果（ITB）を計算し、有効性を評価する。平均ITBを主な性能指標として用いる。
• 埋め込みハードウェア（例：NVIDIA Jetson）にカスタムトレーニングパイプラインをデプロイし、ライブ動画処理中にリアルタイム推論と段階的更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 動画ストリームの時系列的性質を活用することで、リアルタイムオブジェクト検出のためのCNN学習における人的作業負荷をどのように低減できるか？
• RQ2 光流に基づくオブジェクト追跡が、1ユーザー操作あたりのインクリメンタル学習効果に及ぼす影響は何か？
• RQ3 学習効果および収束速度の観点から、局所的学習はフルフレーム学習と比べてどのように異なるか？
• RQ4 オンラインで段階的に学習する設定において、バッチサイズを小さくすることで、学習効果がどの程度向上するか？
• RQ5 時間的整合性を活用することで、人間が関与するシステムが、動画データの時間的整合性を活かして、著しく少ないユーザー操作で高いモデル精度を達成できるか？

主な発見

• バッチサイズ2を使用した場合、ClickBAITは半オンライン学習と比較して、平均インクリメンタル学習効果（ITB）を最大8倍に向上させる。
• PersonFinderシナリオでは、局所的学習と光流の組み合わせにより、必要なユーザー操作回数が85％（37回から30回）削減された。
• PersonFinderシナリオでは、平均ITBが半オンライン学習の1.08×10⁻³から、光流とバッチサイズ2を用いた場合の7.61×10⁻³に向上した。
• システムの結果から、初期の学習例はしばしば低いITBを示しており、背景が疎な画像は後続のより特徴的なフレームに比べて情報量が少ないことが示された。
• バッチサイズを8から2に小さくすると、PersonFinderシナリオで平均ITBが100％向上した。これは、光流と組み合わせた場合、小さなバッチサイズが学習効率を向上させることを示唆している。
• 光流追跡は、ターゲット精度（Af = 0.671）に到達するまでのユーザー操作回数を顕著に削減し、ベースライン手法と比較して5〜8倍の高い学習効果を達成した。