[論文レビュー] Location-aware Graph Convolutional Networks for Video Question Answering

Deng Huang, Peihao Chen+4 more|arXiv (Cornell University)|Aug 7, 2020

Multimodal Machine Learning Applications参考文献 39被引用数 4

ひとこと要約

本稿では、空間的・時間的場所特徴を組み込んだグラフ構造を用いてオブジェクト間の相互作用をモデル化することで、動画質問応答のための場所認識型グラフ畳み込みネットワーク（L-GCN）を提案する。グラフ畳み込みを活用して直接的な関係を捉えつつ背景の雑音を除外することで、L-GCNはTGIF-QA、YouTube2Text-QA、MSVD-QAベンチマークで最先端の性能を達成し、時間的推論タスクで顕著な向上を示した。

ABSTRACT

We addressed the challenging task of video question answering, which requires machines to answer questions about videos in a natural language form. Previous state-of-the-art methods attempt to apply spatio-temporal attention mechanism on video frame features without explicitly modeling the location and relations among object interaction occurred in videos. However, the relations between object interaction and their location information are very critical for both action recognition and question reasoning. In this work, we propose to represent the contents in the video as a location-aware graph by incorporating the location information of an object into the graph construction. Here, each node is associated with an object represented by its appearance and location features. Based on the constructed graph, we propose to use graph convolution to infer both the category and temporal locations of an action. As the graph is built on objects, our method is able to focus on the foreground action contents for better video question answering. Lastly, we leverage an attention mechanism to combine the output of graph convolution and encoded question features for final answer reasoning. Extensive experiments demonstrate the effectiveness of the proposed methods. Specifically, our method significantly outperforms state-of-the-art methods on TGIF-QA, Youtube2Text-QA, and MSVD-QA datasets. Code and pre-trained models are publicly available at: https://github.com/SunDoge/L-GCN

研究の動機と目的

• 正確な推論に不可欠なオブジェクト間の相互作用およびその空間的・時間的場所を明示的にモデル化することで、動画質問応答の課題に取り組む。
• 空間的・時間的注意やRNNに依存する既存手法の限界を克服し、背景コンテンツに敏感で、非隣接オブジェクト間の相互作用を処理しにくい点を改善する。
• 空間的および時間的場所の手がかりをグラフ構造に統合することで、行動の遷移や数え上げなどの時間的推論タスクの性能を向上させる。
• すべてのオブジェクト間の直接的かつ非再帰的な相互作用を可能にするグラフベースのフレームワークを開発し、複雑な動画ダイナミクスのモデル化を強化する。

提案手法

• 各動画フレームでオフザシェルフの検出器を用いてオブジェクトを検出し、完全結合グラフのノードとして表現する。
• 各ノードは外観特徴および2次元空間的＋時間的場所座標で埋め込まれ、グラフが場所認識型となる。
• グラフ畳み込みネットワーク（GCN）を用いてノード間でメッセージを伝搬させ、フレームの近接性にかかわらずすべてのオブジェクト間の直接的相互作用を可能にする。
• GCNの出力を視覚的・質問的相互作用モジュールを介してエンコードされた質問特徴と融合し、最終的な答えを予測する。
• アブレーションスタディーの結果、2層のGCNをデフォルトとして採用し、1フレームあたり5つの検出オブジェクトを想定している。
• 場所特徴はノードの追加入力として統合されており、アブレーションの結果、空間的および時間的場所の両方が補完的であり、不可欠であることが確認された。

実験結果

リサーチクエスチョン

• RQ1 場所認識型グラフを用いてオブジェクト相互作用をモデル化することで、注意ベースやRNNベースの手法と比較して動画質問応答の性能が向上するか？
• RQ2 空間的および時間的場所情報の両方を組み込むことで、行動の順序や繰り返し回数といった時間的クエリの推論にどのような影響を与えるか？
• RQ3 すべてのオブジェクト間の直接的相互作用を可能にするグラフベースのアプローチが、再帰的または逐次的モデリングに比べてどの程度優れているか？
• RQ4 動画QAにおける性能と効率のバランスを考慮した場合、GCN層の最適な深さと1フレームあたりの検出オブジェクト数は何か？

主な発見

• L-GCNはTGIF-QAで最先端の性能を達成し、行動予測タスクで74.32%の正確度を示し、ベースラインより3.74ポイントの向上を達成した。
• 遷移タスクでは、ベースラインの79.59%から81.13%に向上し、行動順序の推論能力が向上したことが示された。
• カウントタスクでは4.33から3.95に改善し、行動の繰り返しや時間的パターンの理解が向上したことが示された。
• アブレーションスタディーの結果、空間的および時間的場所特徴の両方を組み込むことで最高の性能が得られ、それぞれの特徴を個別に使用した場合よりも正確度が低くなった。
• 2層のGCNが最良の性能を示し、1フレームあたり5つのオブジェクトが、カバレッジとノイズのバランスを最適化する。
• 定性的分析により、モデルが質問に関連する顕著なオブジェクトを効果的に特定し、動的シーンにおけるマニフェストとオートバイの間のようなフレーム間の意味的関係を捉えていることが確認された。