[論文レビュー] Spatio-Temporal Scene Graphs for Video Dialog.

Shijie Geng, Peng Gao+3 more|arXiv (Cornell University)|Jul 8, 2020

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本論文は、動画対話システムの性能を向上させるために、時間的・空間的視覚領域とその間の相互作用をモデル化するためのスパatio-temporalシーングラフ表現（STSGR）を提案する。時間的変化に伴うフレーム間の相互作用を組み合わせた内的グラフ推論と、時間的集約処理、および意味論制御型トランスフォーマーを統合することで、AVSDベンチマークにおいて最先端の性能を達成し、従来手法に比べて人間評価で12%の相対的向上を達成した。

ABSTRACT

The Audio-Visual Scene-aware Dialog (AVSD) task requires an agent to indulge in a natural conversation with a human about a given video. Specifically, apart from the video frames, the agent receives the audio, brief captions, and a dialog history, and the task is to produce the correct answer to a question about the video. Due to the diversity in the type of inputs, this task poses a very challenging multimodal reasoning problem. Current approaches to AVSD either use global video-level features or those from a few sampled frames, and thus lack the ability to explicitly capture relevant visual regions or their interactions for answer generation. To this end, we propose a novel spatio-temporal scene graph representation (STSGR) modeling fine-grained information flows within videos. Specifically, on an input video sequence, STSGR (i) creates a two-stream visual and semantic scene graph on every frame, (ii) conducts intra-graph reasoning using node and edge convolutions generating visual memories, and (iii) applies inter-graph aggregation to capture their temporal evolutions. These visual memories are then combined with other modalities and the question embeddings using a novel semantics-controlled multi-head shuffled transformer, which then produces the answer recursively. Our entire pipeline is trained end-to-end. We present experiments on the AVSD dataset and demonstrate state-of-the-art results. A human evaluation on the quality of our generated answers shows 12% relative improvement against prior methods.

研究の動機と目的

• 動画対話におけるマルチモーダル推論の課題に取り組む。これは、エージェントが視覚的、聴覚的、言語的入力を統合して質問に答える必要があることを意味する。
• 従来の手法がグローバルな動画特徴量や疎なフレームサンプリングに依存するという限界を克服し、細分化された視覚的相互作用を正しくモデル化できない点を改善する。
• 視覚的領域間の空間的関係と、動画フレーム間での時間的変化を明示的にモデル化する表現を開発する。
• 視覚的、音声的、キャプション、対話履歴、質問の埋め込みを統合し、答え生成のための統合型アーキテクチャをエンド・ツー・エンドで訓練可能にする。
• 視覚的シーン上の構造的推論と強化されたクロスマodal注意メカニズムを通じて、答えの質を向上させる。

提案手法

• 各動画フレームに対して、視覚的および意味論的両空間にオブジェクトとその関係性をエンコードする2ストリームの視覚的および意味的シーングラフを構築する。
• 各フレームのグラフ内でノードおよびエッジ畳み込みを適用し、内的グラフ推論を実行し、動的な視覚的メモリを生成する。
• 連続するフレーム間でグラフ間集約処理を実施し、視覚的関係およびシーンダイナミクスの時間的変化をモデル化する。
• 得られた視覚的メモリを音声、キャプション、対話履歴、質問の埋め込みと、意味論制御型マルチヘッドシャッフルドトランスフォーマーを用いて統合する。
• マルチモーダルな文脈に従って、トランスフォーマーを再帰的にデコードすることで、トークン単位で答えを生成する。
• 標準的な動画対話用損失関数を用いて、パイプライン全体をエンド・ツー・エンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 構造的スパatio-temporalシーングラフ表現は、動画対話システムにおけるマルチモーダル推論を改善できるか？
• RQ2 内的グラフ畳み込み推論は、個々のフレーム内での局所的視覚的関係をどれほど効果的に捉えられるか？
• RQ3 グラフ間時間的集約処理は、動画フレーム間でのシーンダイナミクスのモデル化をどの程度向上させるか？
• RQ4 意味論制御型マルチヘッドシャッフルドトランスフォーマーは、マルチモーダル入力の整合性を高め、答え生成を改善できるか？
• RQ5 提案手法は、人間評価で測定可能な向上を示すとともに、AVSDベンチマークで最先端の性能を達成できるか？

主な発見

• 提案されたSTSGRモデルは、AVSDベンチマークで最先端の性能を達成し、自動評価において従来手法を上回った。
• 人間評価では、最良の従来手法に比べて12%の相対的向上が確認された。
• モデルは動画シーンにおける空間的関係と時間的ダイナミクスの推論能力に優れていることが示された。
• 内的および外的グラフ推論による視覚的メモリの統合は、より正確で文脈に即した答えを生成する要因となった。
• 意味論制御型マルチヘッドシャッフルドトランスフォーマーは、マルチモーダル入力を効果的に統合し、答えの整合性を向上させた。
• パイプライン全体のエンド・ツー・エンド訓練により、統合的表現学習プロセスの最適化がより良好に実現された。