[論文レビュー] Asynchronous Temporal Fields for Action Recognition

Gunnar A. Sigurdsson, Santosh Divvala+2 more|arXiv (Cornell University)|Dec 19, 2016

Human Pose and Action Recognition参考文献 57被引用数 9

ひとこと要約

本論文では、畳み込みニューラルネットワーク（ConvNet）から得られる深層特徴を用いて、行動の種別、物体、行動、進行度、意図といった複数の側面を統合的に推論する、完全結合型時系列条件付き確率場（CRF）モデルを提案する。非同期変分推論手法を導入することで、高い相関を持つ動画ミニバッチにおいても、表現力のある構造的モデルの効率的なエンド・ツー・エンド学習を可能にし、Charadesベンチマークで22.4%のmAPを達成した。これは先行研究の最良成績（17.2% mAP）を顕著に上回った。

ABSTRACT

Actions are more than just movements and trajectories: we cook to eat and we hold a cup to drink from it. A thorough understanding of videos requires going beyond appearance modeling and necessitates reasoning about the sequence of activities, as well as the higher-level constructs such as intentions. But how do we model and reason about these? We propose a fully-connected temporal CRF model for reasoning over various aspects of activities that includes objects, actions, and intentions, where the potentials are predicted by a deep network. End-to-end training of such structured models is a challenging endeavor: For inference and learning we need to construct mini-batches consisting of whole videos, leading to mini-batches with only a few videos. This causes high-correlation between data points leading to breakdown of the backprop algorithm. To address this challenge, we present an asynchronous variational inference method that allows efficient end-to-end training. Our method achieves a classification mAP of 22.4% on the Charades benchmark, outperforming the state-of-the-art (17.2% mAP), and offers equal gains on the task of temporal localization.

研究の動機と目的

• 外見的特徴と動きに焦点を当てた現在の動画理解モデルの限界を克服し、意図や行動系列に関する高レベルの推論を統合すること。
• 動画内の行動の複数の意味的側面と長距離時系列依存関係を推論できる深層構造的モデルの開発。
• 動画のミニバッチに高い相関が生じる課題がある中で、表現力のある完全結合型時系列CRFのエンド・ツー・エンド学習を可能にすること。
• 行動認識および時系列局所化タスクの性能向上を、行動の意味的コンポーネントの構造的モデリングによって実現すること。

提案手法

• 各フレームの予測が他のすべてのフレームに影響を受ける完全結合型時系列CRFを提案。これにより、局所的近傍を超えた長距離時系列推論が可能となる。
• 深層畳み込みニューラルネットワーク（ConvNet）を用いて、各フレームについて行動種別、物体、行動、進行度、および潜在的意図を同時に推論するCRFのポテンシャルをエンド・ツー・エンドで予測。
• 他のフレームからのメッセージパッシングを、最近の反復計算結果を用いて近似する非同期変分推論手法を導入。これにより、ミニバッチ内の相関問題が軽減される。
• 全動画のミニバッチを用いた確率的学習を採用。特に、最近計算されたフレームからのメッセージに重点を置くことで、学習の安定性とスケーラビリティが向上。
• 目的志向行動をモデル化するため、潜在的意図変数を連続分布として活用。これにより、長期的な動画意味の解釈が可能になる。
• t-SNE可視化とクラスタリングを用いて、学習された意図表現の分析を実施。潜在空間に意味的な構造が存在することが示された。

実験結果

リサーチクエスチョン

• RQ1 完全結合型時系列CRFモデルは、動画内の行動、物体、意図の間の長距離依存関係と意味的関係を効果的に捉えることができるか？
• RQ2 動画のミニバッチが少数の全動画から構成され、サンプル間の相関が非常に高い状況において、表現力のある構造的モデルのエンド・ツー・エンド学習をどのように可能にするか？
• RQ3 潜在的意図モデリングは、行動認識を越えて、特に目的や意図の推論において、どれほど動画理解を向上させるか？
• RQ4 非同期推論は、標準的なバックプロパゲーションと比較して、大規模な動画データセットにおける深層構造的モデルの安定的かつ効率的な学習を可能にするか？
• RQ5 提案手法は、LSTM や二重ストリームネットワークといった強力なベースラインを、行動分類および時系列局所化の両タスクで上回るか？

主な発見

• 提案手法はCharadesベンチマークで22.4%のmAPを達成し、先行研究の最良成績（17.2% mAP）を顕著に上回った。
• 時系列局所化タスクにおいて、後処理を適用した場合、LSTMベースラインの11.6% mAPに対し、本手法は12.8% mAPを達成し、優れた性能を示した。
• 定性的な分析から、モデルは意味的な意図表現を学習していることが示された。t-SNE可視化により、同じ意図タイプの動画がクラスタリングされていることが確認された。
• 同じ意図タイプの動画間の平均距離は6.02×10⁻³であり、ランダムペアの平均距離（7.25×10⁻³）よりも顕著に低く、学習された意図空間に意味的な構造があることが示された。
• LSTMベースラインよりも、本手法は後処理の恩恵をより大きく受けている。これは、本手法がより長い時間スケールを考慮した推論を実行しており、時系列スムージングの恩恵を受けることを示唆している。
• 非同期学習手法により、相関の高い動画ミニバッチにおいても、完全結合型CRFの安定的かつスケーラブルなエンド・ツー・エンド学習が可能になった。これは、標準的なSGDの限界を克服した。