[論文レビュー] Constructing Holistic Spatio-Temporal Scene Graph for Video Semantic Role Labeling

Yu Zhao, Hao Fei+6 more|arXiv (Cornell University)|Aug 9, 2023

Multimodal Machine Learning Applications被引用数 16

ひとこと要約

この論文は HostSG を導入し、 VidSRL のための全体的な時空間的シーングラフを提案します。これにより、動詞予測、SRL、イベント関係タスク全体で VidSRL を改善するために、細粒度の空間的手掛かりと時間的ダイナミクス、エンドツーエンドのシーンイベント統合を組み合わせます。

ABSTRACT

Video Semantic Role Labeling (VidSRL) aims to detect the salient events from given videos, by recognizing the predict-argument event structures and the interrelationships between events. While recent endeavors have put forth methods for VidSRL, they can be mostly subject to two key drawbacks, including the lack of fine-grained spatial scene perception and the insufficiently modeling of video temporality. Towards this end, this work explores a novel holistic spatio-temporal scene graph (namely HostSG) representation based on the existing dynamic scene graph structures, which well model both the fine-grained spatial semantics and temporal dynamics of videos for VidSRL. Built upon the HostSG, we present a nichetargeting VidSRL framework. A scene-event mapping mechanism is first designed to bridge the gap between the underlying scene structure and the high-level event semantic structure, resulting in an overall hierarchical scene-event (termed ICE) graph structure. We further perform iterative structure refinement to optimize the ICE graph, such that the overall structure representation can best coincide with end task demand. Finally, three subtask predictions of VidSRL are jointly decoded, where the end-to-end paradigm effectively avoids error propagation. On the benchmark dataset, our framework boosts significantly over the current best-performing model. Further analyses are shown for a better understanding of the advances of our methods.

研究の動機と目的

• ビデオにおける細粒度の空間意味論と時間的ダイナミクスを捉えるために VidSRL を動機付ける。
• 日 clip のダイナミックなシーングラフをビデオ全体の時空間グラフに統合するために HostSG を提案する。
• シーン構造と高レベルのイベント意味論を ICE グラフへのシーン-イベントマッピングを通じて橋渡しする。
• Graph Information Bottleneck を用いて ICE グラフを反復的に洗練させ、表現をエンドタスクの予測と整合させる。
• エンドツーエンドの枠組みで動詞予測、引数生成、イベント関係を共同デコードする。

提案手法

• HostSG を構築するには、各クリップの DSGs を生成し、それらを Temporal DSG (TSG) に統合し、クロスクリップのコアリファレンスエッジでクリップ間をリンクする。
• HostSG のシーンノードをイベント述語-引数ノードと接続して、シーン構造をイベント意味論と一致させることで ICE を形成する。
• 空間内のクリップ更新のために複数経路 Graph Attention Network を用いて ICE に対する時空的伝播を行い、イベントの時間発展には GGNN を適用する。
• グラフ情報ボトルネック目的を用いて ICE 構造とエッジ重みを反復的に洗練し、ノイズの多いエッジを削減しつつタスクに関連する情報を維持する。
• 三つの VidSRL サブタスクを共同デコードする：動詞予測とイベント関係を MLP ヘッドで、引数生成をトランスフォーマー・デコーダで、それら全てを ICE 表現を活用して。

実験結果

リサーチクエスチョン

• RQ1 holistic な時空間的シーングラフ（HostSG）は frame レベルの特徴より VidSRL の細粒度の空間的・時間的手掛かりをより良く捉えられるか？
• RQ2 HostSG とイベントレベル ICE グラフを橋渡しすることで、 VidSRL のイベント間モデリングと長距離依存を改善できるか？
• RQ3 グラフ情報ボトルネックに導かれた反復的構造洗練がエンドタスクの予測を強化し、ノイズの多い構造を抑制できるか？
• RQ4 動詞・引数・イベント関係をエンドツーエンドで共同デコードすることは、パイプラインや部分的な結合アプローチより良い成績を達成するか？

主な発見

Method	Acc@1(%)	Acc@5(%)	Rec@5(%)	CIDEr	Rouge-L	CIDEr-Vb	CIDEr-Arg	Lea	Lea-S	Macro-Acc(%)
HostSG (Ours)	56.15	86.33	29.38	55.09	43.13	64.24	47.68	55.70	35.01	35.97

• HostSG と ICE の反復的洗練は、 VidSRL の複数の指標で SoTA を大幅に上回る。
• アブレーションにより、シーングラフの特徴が動詞分類、SRL、引数生成に最も寄与し、シーン-イベントマッピングと洗練が大幅な改善を提供することが示された。
• クロスクリップのコアリファレンスエッジはパフォーマンスを改善し、時間的一貫性のためのフレーム間リンクの重要性を浮き彫りにした。
• シーン-イベントマッピングは低レベルのシーングラフと高レベルのイベント意味論のギャップを埋め、オブジェクトの跨イベント関連付けを可能にして予測を改善する。
• エンドツーエンドの共同デコードはパイプラインアプローチに典型的なエラー伝播を回避し、全体的な VidSRL スコアを向上させる。