[論文レビュー] Relational Action Forecasting

Chen Sun, Abhinav Shrivastava+4 more|arXiv (Cornell University)|Apr 8, 2019

Human Pose and Action Recognition参考文献 72被引用数 7

ひとこと要約

本稿では、Faster R-CNN によるアクトアープロポーザルと、注目メカニズムを用いた関係学習を備えた再帰的グラフ構造を用いて、動画内のアクトアの時間的・空間的相互作用を統合的にモデル化するグラフベースのモデル、分類的関係的再帰的ネットワーク（DR²N）を提案する。本モデルは、関係に関する明示的教師信号を必要とせず、動的な特徴的相互作用を効果的にモデル化できることから、アクション予測（J-HMDBにおける早期アクション分類で60%の精度）と、AVAにおける将来アクション予測の両面で最先端の性能を達成した。

ABSTRACT

This paper focuses on multi-person action forecasting in videos. More precisely, given a history of H previous frames, the goal is to detect actors and to predict their future actions for the next T frames. Our approach jointly models temporal and spatial interactions among different actors by constructing a recurrent graph, using actor proposals obtained with Faster R-CNN as nodes. Our method learns to select a subset of discriminative relations without requiring explicit supervision, thus enabling us to tackle challenging visual data. We refer to our model as Discriminative Relational Recurrent Network (DRRN). Evaluation of action prediction on AVA demonstrates the effectiveness of our proposed method compared to simpler baselines. Furthermore, we significantly improve performance on the task of early action classification on J-HMDB, from the previous SOTA of 48% to 60%.

研究の動機と目的

• 過去および現在のフレームのみを用いて、複数のアクトアの将来の高レベルアクションを予測する課題に対処すること。
• 関係に関する明示的教師信号を必要とせず、時間的ダイナミクスと空間的相互作用を統合的にモデル化すること。
• 単一フレームにおいてアクトアのアイデンティティーやアクションが曖昧な現実世界のノイズの多い視覚データにおいて、アクション予測の性能を向上させること。
• 自己走行車両や人間-ロボットインタラクションなどの実用的応用を可能にするために、視覚的履歴から妥当な将来のアクションを予測できること。
• アクション予測および早期アクション分類の両タスクにおいて、既存のベースラインを上回ること。

提案手法

• ノードがアクトアープロポーザル（Faster R-CNN からの出力）を表し、エッジがアクトア間の潜在的相互作用を表す完全結合グラフを構築する。
• 学習可能な注目重みを備えた変更版グラフ自己注意ネットワーク（GAT）を用い、動的に特徴的な関係を選択することで、ノイズや関係の薄い相互作用を無視できるようにする。
• GRUに基づく再帰ユニットを統合し、時間経過に伴うアクトア表現の変化をモデル化することで、逐次的アクションパターンを捉える。
• 弱い教師信号を用いてモデルを学習する：将来の時間ステップでのアクションクラスの正例ラベルは提供されるが、エッジや関係のアノテーションは使用しない。
• アクション分類性能を最大化すると同時に、関係的相互作用に適切に注目する能力を学習するための統合最適化目的関数を活用する。
• 共有の特徴抽出器とタスク固有のヘッドを用いて、AVAにおけるマルチペルソンアクション予測とJ-HMDBにおける早期アクション分類の2つのタスクにモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 視覚的履歴にのみ依存し、関係に関する明示的教師信号を一切用いないグラフベースの再帰的モデルは、複数アクトアの将来アクションを効果的に予測できるか？
• RQ2 アクトア間の空間的相互作用と時間的ダイナミクスが、独立してモデル化する場合と比較して、将来アクション予測の性能をどのように向上させるか？
• RQ3 弱い教師信号を用いた関係学習メカニズムは、複雑でノイズの多い動画シーンにおいて、特徴的なアクトア相互作用をどれほど正確に同定できるか？
• RQ4 提案されたDR²Nフレームワークは、アクション予測および早期アクション分類の両タスクで強力なベースラインを上回るか？
• RQ5 どの種類のアクションが関係モデリングによって最も利益を得るか？また、文脈的またはインタラクティブな手がかりは、予測精度にどのような役割を果たすか？

主な発見

• J-HMDBの10%のクリップに対して、DR²Nは60.6%の精度を達成し、以前の最先端手法（48%）を著しく上回った。
• AVAデータセットにおいて、DR²Nは全ベースラインを上回り、予測ホライズン（t=1 から t=5）の全範囲で一貫した性能向上を示した。
• 明示的な相互作用を伴うアクション（例：手をたたく、武道）および文脈依存のアクション（例：食べる、乗る）において、モデルの性能向上が最も顕著で、関係モデリングが重要な手がかりを提供することがわかった。
• アブレーションスタディの結果、GRUベースの時間的モデリングは静的または単一ヘッドベースラインよりも性能が優れており、注目メカニズムを備えた関係学習（DR²N）は、一様な（RN）および標準的なGATよりも関係選択において優れた性能を示した。
• 注目重みの可視化により、DR²Nが関係のありそうなアクトアや文脈的オブジェクト（例：馬、テーブル）に適切に注目していることが確認され、効果的な文脈的推論が行われていることが示された。
• モデルはt=0においても高い検出性能を維持しながら、優れた将来予測性能を達成しており、関係モデリングと時間的モデリングが局所化精度を損なわないことが示された。