[論文レビュー] Large-Scale Automatic Labeling of Video Events with Verbs Based on Event-Participant Interaction

Andrei Barbu, Alexander Bridge+13 more|arXiv (Cornell University)|Apr 16, 2012

Human Pose and Action Recognition参考文献 13被引用数 4

ひとこと要約

本論文は、物体クラス、画像特徴、ボディポーズに依存せずに、イベント参加者の粗い時空間的運動—具体的にはバウンディングボックスの軌跡—のみを用いて大規模自動動画イベントラベリングを実現する手法を提案する。1対22の動詞分類タスクで70%を超える正確性を達成し、1対10のサブセットでは85%を超える結果を得ており、動詞レベルのイベント認識が複雑な分類器や詳細な視覚的特徴よりも運動に基づく言語的不変性に依存していることを示している。

ABSTRACT

We present an approach to labeling short video clips with English verbs as event descriptions. A key distinguishing aspect of this work is that it labels videos with verbs that describe the spatiotemporal interaction between event participants, humans and objects interacting with each other, abstracting away all object-class information and fine-grained image characteristics, and relying solely on the coarse-grained motion of the event participants. We apply our approach to a large set of 22 distinct verb classes and a corpus of 2,584 videos, yielding two surprising outcomes. First, a classification accuracy of greater than 70% on a 1-out-of-22 labeling task and greater than 85% on a variety of 1-out-of-10 subsets of this labeling task is independent of the choice of which of two different time-series classifiers we employ. Second, we achieve this level of accuracy using a highly impoverished intermediate representation consisting solely of the bounding boxes of one or two event participants as a function of time. This indicates that successful event recognition depends more on the choice of appropriate features that characterize the linguistic invariants of the event classes than on the particular classifier algorithms.

研究の動機と目的

• 動詞が物体の識別子や視覚的詳細に依存せずに、参加者の粗い運動によってイベントの意味を記述するという言語的仮説を検証すること。
• イベント参加者の時空間的運動パターンにのみ依存するスケーラブルで自動化された動画ラベリングシステムを開発すること。
• 物体クラス、画像のテクスチャ、形状、ボディポーズの情報を利用せずに、動詞分類の高い正確性が達成可能かどうかを検証すること。
• 最小限の特徴表現下で、異なる時系列分類器（HMMとDTW）の性能を比較すること。
• 分類の正確性が特徴選択に依存する程度が、分類器アーキテクチャに依存する程度よりも顕著であることを示すこと。

提案手法

• 本手法は、1人または2人のイベント参加者のみの時系列的バウンディングボックスを入力表現として唯一の情報源として用いる。
• イベントのダイナミクスは、2つの時系列分類器である隠れマルコフモデル（HMM）と動的時間ワープィング（DTW）を用いてモデル化する。
• システムは、22の動詞クラスのうち1つを選ぶ強制選択タスクとして動詞分類を実行し、5つのランダムなデータパーティションにわたる交差検証を実施する。
• 特徴は追跡された参加者の軌跡から抽出され、すべての物体固有の特徴や画像レベルの特性が抽象化される。
• 本手法は、参加者の粗い運動が動詞意味論に果たす役割を明確に分離するために、物体クラス、ボディポーズ、低レベルの視覚的特徴を明示的に除外する。
• 妥当性と一貫性を評価するために、複数回の交差検証実行における誤り行列と正確性指標が計算される。

実験結果

リサーチクエスチョン

• RQ1 物体や画像レベルの特徴を利用せずに、参加者の粗い運動軌跡のみを用いて動詞レベルの動画イベント分類が可能か？
• RQ2 最小限の特徴表現下で、時系列分類器の選択（HMM対DTW）が性能に顕著な影響を及ぼすか？
• RQ3 動詞分類の性能が、特徴選択の影響を受ける程度と、分類器アーキテクチャの影響を受ける程度の相対的寄与はどの程度か？
• RQ4 1対10の動詞クラスサブセットにおいて、性能はどのように変動するか、特に1対10タスクにおいては？
• RQ5 動詞が参加者間の相互作用を粗い運動によって記述するという言語的仮説が、大規模なコンピュータビジョン設定において成り立つか？

主な発見

• HMMを用いた1対22の動詞ラベリングタスクでは71.9%、DTWを用いた場合は71.3%の集計分類正確性を達成し、ランダム選択の4.5%を著しく上回っている。
• 複数の1対10の動詞クラスサブセットにおいて、HMMとDTWの両方が85%を超える正確性を達成しており、85.1%から87.5%の範囲で変動している。
• HMMとDTWの性能は、すべての交差検証実行においてほぼ同一であり、分類器の選択が結果にほとんど影響しないことを示している。
• 高い正確性はバウンディングボックスの軌跡のみを用いて達成されており、言語的不変性としての運動の性質が動詞認識に十分であることを示唆している。
• 結果は、動詞が物体の識別子や視覚的詳細に依存せずに、参加者の粗い運動によってイベントの意味を記述するという言語的仮説を支持している。
• 物体クラス情報が利用可能で、動詞クラスと強く相関している場合でさえ、本手法はそれを使用せずに高い性能を維持しており、運動特徴のみで十分であることを強調している。