[論文レビュー] Every Moment Counts: Dense Detailed Labeling of Actions in Complex Videos

Serena Yeung, Olga Russakovsky+4 more|arXiv (Cornell University)|Jul 21, 2015

Human Pose and Action Recognition参考文献 39被引用数 83

ひとこと要約

本稿では、未加工のインターネット動画における高密度で多ラベルの行動アノテーションを備えた大規模データセットMultiTHUMOSと、複雑な時間的依存関係をモデル化するための拡張された時間的入力および出力接続を備えたLSTMベースのモデルMultiLSTMを紹介する。この手法は、行動認識の精度を向上させるとともに、行動予測などの高度なタスクを可能にし、高密度で多ラベルの動画理解においてベースラインモデルを顕著に上回る成果を示している。

ABSTRACT

Every moment counts in action recognition. A comprehensive understanding of human activity in video requires labeling every frame according to the actions occurring, placing multiple labels densely over a video sequence. To study this problem we extend the existing THUMOS dataset and introduce MultiTHUMOS, a new dataset of dense labels over unconstrained internet videos. Modeling multiple, dense labels benefits from temporal relations within and across classes. We define a novel variant of long short-term memory (LSTM) deep networks for modeling these temporal relations via multiple input and output connections. We show that this model improves action labeling accuracy and further enables deeper understanding tasks ranging from structured retrieval to action prediction.

研究の動機と目的

• 単一で局所的な行動に焦点を当てており、高密度で多ラベルのアノテーションを欠いている既存の行動認識データセットの限界を解消すること。
• 制約のない動画における複数の同時で時間的に関連する行動をモデル化することで、人間の行動を包括的に理解すること。
• 複数のフレームにわたる行動間の複雑な時間的依存関係を捉えることが可能なディープラーニングモデルの開発。
• 構造的検索や将来の行動予測といった高度な動画理解タスクを支援すること。
• 現実世界の未加工動画シーケンスにおける高密度で多ラベルの行動検出のベンチマークを提供すること。

提案手法

• THUMOSデータセットを拡張して、65の行動クラスと1フレームあたり1.5ラベルのMultiTHUMOSという新規データセットを構築。30時間にわたる未加工動画をカバー。
• 時間的関係を複数の行動クラス間および内部でモデル化できる、複数の入力および出力接続を備えたLSTMの新規変種であるMultiLSTMを導入。
• 同じフレーム内および近接するフレーム内の行動間の依存関係を学習することで、高密度で多ラベルの予測を処理するようにモデルを設計。
• 時間的オフセットを用いた学習により、過去または現在のフレームを中心としたコンテキスト窓を用いて、将来および過去の行動予測を可能に。
• 時間的コンテキストを入力および出力シーケンスから統合するためにソフトアテンション機構を活用し、行動遷移のモデリングを向上。
• 高密度な行動検出および行動予測タスクにおいて、平均平均精度（mAP）を用いて性能を評価。

実験結果

リサーチクエスチョン

• RQ1 大規模で高密度・多ラベルの動画データセットは、複雑な現実世界のシナリオにおける行動認識モデルの性能を向上させることができるか？
• RQ2 拡張された入力および出力接続を備えた変更されたLSTMアーキテクチャは、1フレーム内で複数の行動間の時間的依存関係を効果的にモデル化できるか？
• RQ3 高密度な行動シーケンスで学習された時間的関係に基づいて、モデルは将来または過去の行動をどの程度正確に予測できるか？
• RQ4 MultiLSTMの時間的モデリング能力は、強力なベースラインや事前知識（例：ラベル分布の事前分布）と比較して、行動予測タスクでどのように優れているか？
• RQ5 細分化され、階層的な行動クラスを備えたデータセットから、行動遷移のパターンや階層的関係についてどのようなインサイトが得られるか？

主な発見

• MultiLSTMは、高密度で多ラベルの行動検出ベンチマークにおいて、シンプルなLSTMベースラインよりも高いmAPを達成し、精度の向上を実証した。
• 0.5秒前の行動予測ではmAP ≈ 30%を達成し、2秒先までの予測でもmAP ≈ 20–25%を維持した。
• 真値ラベル分布を用いたベースラインモデルよりも優れた性能を示し、特に直近の過去（0–1秒）において顕著な向上を示した。これは、優れた時間的モデリング能力を示している。
• Qualitativeな例では、Jump → Fall や Dribble → Shot といった行動遷移を高い正確性で予測できた。
• MultiTHUMOSでは1動画あたり平均で10.5の異なる行動カテゴリを含んでおり、THUMOSの1.1に比べてはるかに豊富な行動相互作用の分析が可能になった。
• MultiTHUMOSの45%以上が2つ以上のラベルを含んでおり、高密度で多ラベルの時間的推論を処理できるモデルの必要性が裏付けられた。