[論文レビュー] Video Is Graph: Structured Graph Module for Video Action Recognition

Rong-Chang Li, Xiao‐Jun Wu+1 more|arXiv (Cornell University)|Oct 12, 2021

Human Pose and Action Recognition参考文献 46被引用数 7

ひとこと要約

本稿では、動画フレームをグラフに再編集することで長距離時系列依存関係を捉えつつ順序情報も保持する構造的グラフモジュール（SGM）を提案する。事前構造に基づいて隣接フレームを時系列領域にグループ化することで、グローバルな構造的特徴とローカルな順序特徴を同時に抽出可能となり、計算コストの増加が最小限であるにもかかわらず、複数のアクション認識ベンチマークで最先端の性能を達成する。

ABSTRACT

In the field of action recognition, video clips are always treated as ordered frames for subsequent processing. To achieve spatio-temporal perception, existing approaches propose to embed adjacent temporal interaction in the convolutional layer. The global semantic information can therefore be obtained by stacking multiple local layers hierarchically. However, such global temporal accumulation can only reflect the high-level semantics in deep layers, neglecting the potential low-level holistic clues in shallow layers. In this paper, we first propose to transform a video sequence into a graph to obtain direct long-term dependencies among temporal frames. To preserve sequential information during transformation, we devise a structured graph module (SGM), achieving fine-grained temporal interactions throughout the entire network. In particular, SGM divides the neighbors of each node into several temporal regions so as to extract global structural information with diverse sequential flows. Extensive experiments are performed on standard benchmark datasets, i.e., Something-Something V1 & V2, Diving48, Kinetics-400, UCF101, and HMDB51. The reported performance and analysis demonstrate that SGM can achieve outstanding precision with less computational complexity.

研究の動機と目的

• 長時間にわたる依存関係を捉えるのが難しいという、動画アクション認識における順序モデリングの限界に対処すること。これは、局所的でスタックされた時系列演算に依存するためである。
• 動画フレームを完全なグラフ表現に変換する際の順序情報の損失を克服すること。
• 動画クリップにおいて、グローバルな構造的パターンとローカルな時系列シーケンスの両方を同時に捉えるメカニズムを開発すること。
• 計算コストの増加が最小限であるにもかかわらず、標準的なアクション認識データセットで競争力あるか、あるいは最先端の性能を達成すること。

提案手法

• 学習可能なエッジを介してすべてのフレームが接続されるフレームグラフに動画クリップを変換することで、長距離情報伝達を可能にする。
• 時系列距離と方向に基づいて隣接ノードを異なる時系列領域に分割する構造的グラフモジュール（SGM）を提案する。
• 隣接フレームを部分グラフ（例：局所的、グローバル、前方、後方）にグループ化することで、グラフ変換中に順序に敏感な表現を保持する。
• 各部分グラフで独立した、アテンションベースでないメッセージパッシングを用いることで、冗長性を低減し、特徴の集中を向上させる。
• SGMをInceptionV3ブロックに統合してSGNネットワークを構築し、空間時系列特徴学習が可能なエンドツーエンド学習を可能にする。
• グラフ畳み込みネットワーク（GCNs）を構造的グラフに適用し、フレーム間での特徴伝搬を実現するとともに、時系列順序を維持する。

実験結果

リサーチクエスチョン

• RQ1 完全なグラフ表現を用いることで、順序構造を損なわず、長距離時系列依存関係を効果的に捉えることができるか？
• RQ2 時系列の事前知識をどのように活用すれば、グローバルパターンとローカルな順序特徴の両方を保持できるようにグラフを構造化できるか？
• RQ3 マルチヘッドアテンションベースでないグラフモジュールは、アクション認識において効率性と性能の面でアテンションベースの手法を上回るのか？
• RQ4 構造的グラフモジュールは、計算コストのわずかな増加で最先端の結果を達成できるのか？

主な発見

• Kinetics-400ではSGMがトップ-1正解率86.9％を達成し、TimeSformer-L（81.0％）とGSM（80.7％）を上回り、InceptionV3の1.08倍の計算量にとどまる。
• Something-Something V2ではSGNがトップ-1正解率84.7％を達成し、TimeSformer-Lを上回り、新たな最先端結果を樹立した。
• Diving48ではSGNがMMVRACコンペティションで45.4％のトップ-1正解率を達成し、アンサンブルモデルで1位を獲得した。
• HMDB51では、2Dバックボーンに時系列モジュールを組み合わせた手法の中で、SGNが最高の性能を示し、優れた時系列モデリング能力を示した。
• 可視化結果から、SGMはキーフレームに注目するのに対し、完全なグラフはそれらを無視することが確認され、特徴の局所化が向上したことが裏付けられた。
• 学習された隣接行列から、深層部ではグローバルパターンが優先され、短時間（Something-Something）と長時間（Kinetics-400）の動画で差が観察された。