[論文レビュー] Semi-Automated Annotation of Discrete States in Large Video Datasets

Lex Fridman, Bryan Reimer|arXiv (Cornell University)|Dec 1, 2016

Gaze Tracking and Assistive Technology被引用数 2

ひとこと要約

本論文では、物体の行動を隠れマルコフモデル（HMM）でモデル化し、ノイズの多い画像ベースの状態観測を行うことで、大規模な動画データセットにおける離散的状態の半自動的アノテーションフレームワークを提示する。フレーム単位のラベリングから状態遷移の検出に注目を移すことで、1600万フレームのドライバーの注視方向データセットにおいて、99.1％の精度で13倍、91.2％の精度で84倍の手作業の作業削減を達成した。

ABSTRACT

We propose a framework for semi-automated annotation of video frames where the video is of an object that at any point in time can be labeled as being in one of a finite number of discrete states. A Hidden Markov Model (HMM) is used to model (1) the behavior of the underlying object and (2) the noisy observation of its state through an image processing algorithm. The key insight of this approach is that the annotation of frame-by-frame video can be reduced from a problem of labeling every single image to a problem of detecting a transition between states of the underlying objected being recording on video. The performance of the framework is evaluated on a driver gaze classification dataset composed of 16,000,000 images that were fully annotated over 6,000 hours of direct manual annotation labor. On this dataset, we achieve a 13x reduction in manual annotation for an average accuracy of 99.1% and a 84x reduction for an average accuracy of 91.2%.

研究の動機と目的

• 離散的状態を有する大規模データセットにおける手作業動画アノテーションの高コストを低減すること。
• 動画シーケンスにおけるノイズの多い画像ベースの状態検出の課題に対処すること。
• 人為的アノテーションを最小限に抑えつつ高い精度を維持できるスケーラブルなフレームワークを開発すること。
• 実世界の大規模な動画データセット（広範な手作業アノテーションを含む）に対して、この手法を評価すること。

提案手法

• 隠れマルコフモデル（HMM）を用いて、物体の潜在的な状態遷移と、画像処理アルゴリズムからのノイズの多い観測をモデル化する。
• フレーム単位のラベリングではなく、状態遷移の検出という問題にアノテーションを転換することで、人的作業を顕著に削減する。
• HMMの推論を用いて、ノイズの多い視覚的観測から最も可能性の高い隠れ状態の系列を推定することで、状態遷移を同定する。
• 動画の時間的構造を活用することで、画像処理の不完全さにもかかわらず、状態予測の精度を向上させる。
• HMMは、1600万フレームと6000時間の手作業アノテーションを含む大規模なドライバーの注視方向データセットで訓練および検証された。
• この手法により、人間の入力がすべてのフレームではなく、状態遷移のときのみ必要な半自動アノテーションが可能になった。

実験結果

リサーチクエスチョン

• RQ1 離散的状態を有する大規模な動画データセットにおいて、半自動フレームワークは手作業アノテーションの作業を削減できるか？
• RQ2 HMMは、動画におけるノイズの多い視覚的観測と潜在的な状態遷移を効果的にモデル化できるか？
• RQ3 遷移ベースのラベリングを用いることで、最小限の人的アノテーションでどの程度の精度が達成できるか？
• RQ4 実世界の動画データにおいて、この手法はアノテーション削減と精度の両面でスケーラブルか？
• RQ5 このフレームワークは、アノテーション時間の数個のオーダーの削減を伴いながらも、高い精度を維持できるか？

主な発見

• 1600万フレームのドライバーの注視方向データセットにおいて、平均99.1％の精度を維持しながら、手作業アノテーション作業を13倍削減した。
• やや低い精度の閾値91.2％では、手作業アノテーション作業を84倍削減した。
• 99.1％の精度では、アノテーション労働が6000時間から約460時間に、91.2％の精度では約71時間に削減された。
• HMMは、潜在的な物体行動とノイズの多い画像処理観測の両方を効果的にモデル化し、頑健な状態推定を可能にした。
• 遷移ベースのアノテーション戦略は非常に効果的であり、すべてのフレームではなく状態変化のときのみ人為的入力が必要であった。
• 結果として、離散的状態を有する大規模な動画データセットにおいて、HMMを用いた半自動アノテーションが実用的かつ極めて効率的であることが示された。