[論文レビュー] Stacked Spatio-Temporal Graph Convolutional Networks for Action Segmentation

Pallabi Ghosh, Yi Yao+2 more|arXiv (Cornell University)|Nov 26, 2018

Human Pose and Action Recognition被引用数 6

ひとこと要約

本稿では、可変長記述子と柔軟な時系列エッジを用いて、大規模なグラフ変形に対処する多様なノード（人物、物体、シーン）をモデル化することで、長時間の動画におけるアクションセグメンテーションのためのスタックド時空間的グラフ畳み込みネットワーク（Stacked-STGCN）を提案する。局所化精度と一般化性能を向上させるために、STGCNにスタックド・アワーガラスアーキテクチャを統合し、CAD120でF1スコア4.0%の向上、CharadesでI3D特徴量を用いてmAP 1.3%の向上を達成した。

ABSTRACT

We propose novel Stacked Spatio-Temporal Graph Convolutional Networks (Stacked-STGCN) for action segmentation, i.e., predicting and localizing a sequence of actions over long videos. We extend the Spatio-Temporal Graph Convolutional Network (STGCN) originally proposed for skeleton-based action recognition to enable nodes with different characteristics (e.g., scene, actor, object, action, etc.), feature descriptors with varied lengths, and arbitrary temporal edge connections to account for large graph deformation commonly associated with complex activities. We further introduce the stacked hourglass architecture to STGCN to leverage the advantages of an encoder-decoder design for improved generalization performance and localization accuracy. We explore various descriptors such as frame-level VGG, segment-level I3D, RCNN-based object, etc. as node descriptors to enable action segmentation based on joint inference over comprehensive contextual information. We show results on CAD120 (which provides pre-computed node features and edge weights for fair performance comparison across algorithms) as well as a more complex real-world activity dataset, Charades. Our Stacked-STGCN in general achieves 4.0% performance improvement over the best reported results in F1 score on CAD120 and 1.3% in mAP on Charades using VGG features.

研究の動機と目的

• 人物、物体、シーンなどの多様な文脈的情報を統合的にモデル化することで、長時間の動画におけるアクションセグメンテーションを改善すること。
• 隠蔽、検出不能、動的な変化に起因する大規模なグラフ変形に対処するため、柔軟な時系列エッジ接続を用いること。
• グラフ畳み込みネットワークに適応したスタックド・アワーガラス設計を用いて、局所化精度と一般化性能を向上させること。
• VGG、I3D、RCNNなどの異種のノード記述子（長さが異なるものも含む）を統一されたSTGCNフレームワーク内でサポートすること。
• マルチモーダルな文脈的情報を統合的に推論することで、頑健なアクション認識とセグメンテーションを実現すること。

提案手法

• ノードの種別（例：人物、物体、シーン）を区別し、可変長特徴記述子をサポートするSTGCNの拡張。
• 多段階および完全接続型エッジを含む、任意の時系列エッジ接続を導入し、複雑な行動ダイナミクスをモデル化し、大規模な変形に対処する。
• エンコーダーの各段階で隣接行列をダウンサンプリングすることで、STGCNにスタックド・アワーガラスアーキテクチャを適応させる。
• フレームレベルのVGG、セグメントレベルのI3D、RCNNベースの物体特徴量をノード記述子として用い、文脈表現を豊かにする。
• マルチスケール特徴量を統合するグラフベースのエンコーダ-デコーダ構造を採用し、局所化精度と耐障害性を向上させる。
• 空間的および時系列的関係（ノード間の機能的・因果的リンクを含む）に学習可能なエッジ重みを適用する。

実験結果

リサーチクエスチョン

• RQ1 可変長記述子を有する異種ノードを効果的にモデル化できる一般化されたSTGCNフレームワークは、アクションセグメンテーションに有効であるか？
• RQ2 柔軟な時系列エッジ接続は、顕著なグラフ変形を示す長時間の動画シーケンスにおいて性能をどのように向上させるか？
• RQ3 スタックド・アワーガラスアーキテクチャは、STGCNベースのアクションセグメンテーションにおいて、局所化精度と一般化性能をどの程度向上させるか？
• RQ4 VGG、I3D、RCNNなどの異なるノード記述子は、時空間的グラフ上で統合的に推論された際に、性能向上にどの程度寄与するか？
• RQ5 異種ノードタイプ間（例：人物-物体）の空間的エッジ接続は、セグメンテーション精度にどのような影響を与えるか？

主な発見

• Stacked-STGCNは、CAD120データセットにおいて、報告済みの最高スコアを4.0%上回るF1スコアを達成した。
• Charadesデータセットでは、I3D特徴量を用いた場合、報告済みの最高スコアをmAP 1.3%上回った。
• VGG特徴量を用いた場合、Stacked-STGCNは、CharadesにおけるベースラインおよびLSTMベースの手法を2.4%上回るmAPを達成した。
• I3D+Super-events（アテンション機構を用いる）を除き、すべての先行手法を上回る性能を発揮した。
• セグメントレベルのI3D特徴量を用いた場合の性能向上が顕著で、これは長距離の時系列的文脈の恩恵を受けることを示唆している。
• 異種ノード間（例：人物-物体）の空間的エッジは、固定重みモデルによる単純化のため、わずかな向上にとどまった。