[論文レビュー] Video In Sentences Out

Andrei Barbu, Alexander Bridge+16 more|arXiv (Cornell University)|Apr 12, 2012

Human Pose and Action Recognition参考文献 25被引用数 15

ひとこと要約

本論文では、行動認識、参加者の追跡、役割割り当て（主体／目的語）を実行し、空間的・時間的・属性的関係をモデル化することで、ビデオクリップの豊富で自然な言語的記述を生成する動画から文への生成システムを提示する。このシステムは検出に基づく追跡とボディポーズコードブックを用い、動詞、名詞、形容詞、前置詞、副詞的要素を推論し、1動画あたり最も信頼性の高い文の評価で25.5％の正確性を達成した。

ABSTRACT

We present a system that produces sentential descriptions of video: who did what to whom, and where and how they did it. Action class is rendered as a verb, participant objects as noun phrases, properties of those objects as adjectival modifiers in those noun phrases,spatial relations between those participants as prepositional phrases, and characteristics of the event as prepositional-phrase adjuncts and adverbial modifiers. Extracting the information needed to render these linguistic entities requires an approach to event recognition that recovers object tracks, the track-to-role assignments, and changing body posture.

研究の動機と目的

• ビデオの内容を、誰が何を誰に対して、どこで、どのように行ったかを含め、詳細で自然な言語的文として生成すること。
• 従来の動画行動認識手法が対象の役割、空間的関係、対象の特性を特定できないという限界を克服すること。
• 視覚的および運動的ヒントに基づいて、動詞、名詞句、形容詞、前置詞句、副詞を含む言語的構造をモデル化すること。
• グリスの原則に従い、参照を明確にするために必要な場合にのみ形容詞を生成することで、参照の明確性を保証すること。
• 動きの追跡、物体検出、ポーズ分析を統合し、意味的に正確で文脈に根ざした記述を生成すること。

提案手法

• 検出に基づく追跡を用いて、動画フレーム間で一貫した物体の同一性を維持し、運動の軌跡を抽出する。
• 2トラックの隠れマルコフモデル（HMM）を用いて、運動の遷移と役割割り当て（主体、目的語）を含むイベントダイナミクスをモデル化する。
• ボディポーズコードブックを用いて、正規化された部位のずれとポーズインデックスから、人物ポーズの形容詞（例：うつぶせ、まっすぐ立っている）を推論する。
• グリスの数量の最大化則に従い、共参照を避けるために必要な場合にのみ、色・サイズ・形状などの形容詞修飾語を含む名詞句を生成する。
• 視聴者の視点からの2次元空間的位置から、空間的関係（例：『左に』）に基づいて前置詞句を構築する。
• 追跡された軌跡から得られる運動速度と方向から、副詞的修飾語（例：『ゆっくり』『左へ』）を生成する。

実験結果

リサーチクエスチョン

• RQ1 視覚的動画イベントに、主体・目的語・空間的関係・運動的特徴を含む意味的に豊富で自然な言語的文を生成できるか。
• RQ2 視覚的運動と追跡データから、対象の役割（主体対目的語）を信頼性高く推論するにはどうすればよいか。
• RQ3 過剰な記述を避けるために、適切な形容詞（例：色・ポーズ）を生成するのに十分な視覚的手がかりは何か。
• RQ4 運動の軌跡と空間的位置をどの程度活用して、正確な前置詞句と副詞的修飾語を生成できるか。
• RQ5 追跡、ポーズ分析、役割割り当てを統合することで、標準的な行動認識手法に比べて文の正確性がどの程度向上するか。

主な発見

• 1動画あたり最も信頼性の高い文を生成した際の、人間による評価で25.5％の真実性評価を達成し、動画内容と意味的に整合していることを示した。
• 49.4％の動画で、生成された3つの文のうち少なくとも1つが真実であると評価され、顕著な出来事の広範なカバーを示した。
• 18.4％の顕著な記述（749本中138本）を生成し、視覚的に目立つ出来事の効果的な同定を示した。
• ボディポーズコードブックの活用により、運動およびポーズデータから『うつぶせ』や『まっすぐ立っている』などの人物ポーズの形容詞を正確に推論できた。
• グリスの数量の最大化則に従い、参照の曖昧さを避けるために必要な場合にのみ形容詞を生成することで、過剰記述を回避した。
• 追跡、役割割り当て、運動分析の統合により、『自転車の左にいる人物が左へ去っていった』のような複雑な言語的構造の生成が可能になった。