[論文レビュー] Dynamic Graph Representation Learning for Video Dialog via Multi-Modal Shuffled Transformers

Shijie Geng, Peng Gao+6 more|arXiv (Cornell University)|Jul 8, 2020

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、動的グラフ表現学習フレームワークを提案し、動的な時空間的シーングラフ（STSGR）とシャッフルドトランスフォーマー構造を用いて、動画対話のための新しい手法を提示する。フレーム内視覚的意味をグラフアテンションとエッジ畳み込みでモデル化し、フレーム間の時系列的手がかりを統合することで、AVSDベンチマークにおける回答生成および選択タスクで最先端の性能を達成し、CIDEr（DSTC8で1.272）を含むすべての指標で先行手法を上回る。

ABSTRACT

Given an input video, its associated audio, and a brief caption, the audio-visual scene aware dialog (AVSD) task requires an agent to indulge in a question-answer dialog with a human about the audio-visual content. This task thus poses a challenging multi-modal representation learning and reasoning scenario, advancements into which could influence several human-machine interaction applications. To solve this task, we introduce a semantics-controlled multi-modal shuffled Transformer reasoning framework, consisting of a sequence of Transformer modules, each taking a modality as input and producing representations conditioned on the input question. Our proposed Transformer variant uses a shuffling scheme on their multi-head outputs, demonstrating better regularization. To encode fine-grained visual information, we present a novel dynamic scene graph representation learning pipeline that consists of an intra-frame reasoning layer producing spatio-semantic graph representations for every frame, and an inter-frame aggregation module capturing temporal cues. Our entire pipeline is trained end-to-end. We present experiments on the benchmark AVSD dataset, both on answer generation and selection tasks. Our results demonstrate state-of-the-art performances on all evaluation metrics.

研究の動機と目的

• 動画、音声、キャプション、対話履歴を含む入力における、音声視覚的シーン認識対話（AVSD）におけるマルチモーダル表現学習と推論の課題に取り組む。
• 動画内の詳細な視覚的意味と時系列的依存関係を捉えることで、複雑なマルチモーダル入力における推論を向上させる。
• マルチヘッドアテンション出力への新しいシャッフル機構を導入することで、マルチモーダルトランスフォーマーにおける一般化性能の向上と過学習の低減を実現する。
• 視覚的、音声的、言語的モダリティをエンドツーエンドで統合する階層的表現学習パイプラインを構築し、効果的な対話生成および選択を実現する。

提案手法

• グラフアテンションとエッジ畳み込みを用いて、フレームレベルの視覚的グラフを構築することで、オブジェクト関係と空間的文脈を符号化する、時空間的シーングラフ表現（STSGR）を提案する。
• 時間的隣接フレーム間で視覚的表現を伝搬・更新することで、コン pact で動的な視覚的メモリを構築する、フレーム間集約モジュールを導入する。
• マルチモーダルシャッフルドトランスフォーマーを採用し、マルチヘッドアテンションヘッドの出力を融合する前にランダムにシャッフルすることで、正則化と一般化性能を向上させる。
• 入力質問を条件として、音声視覚的メモリ、対話履歴、キャプション、質問埋め込みを順次トランスフォーマー・デコーダーを用いて統合する。
• エンドツーエンド学習により、視覚的グラフ学習、モダリティ統合、回答生成または選択を同時に最適化する。
• 音声特徴と動画フレーム間の時系列的整合性を確保することで、表現学習におけるモダリティの一貫性を高める。

実験結果

リサーチクエスチョン

• RQ1 統合的動画特徴と比較して、動的でグラフベースの視覚的表現は、動画対話システムにおける推論性能を向上させるか？
• RQ2 提案されたシャッフルドトランスフォーマー構造は、マルチモーダルシーケンスモデリングにおいて一般化性能を向上させ、過学習を低減するか？
• RQ3 フレーム内およびフレーム間の推論を統合することで、複雑なAVSDタスクにおける性能はどの程度向上するか？
• RQ4 シーングラフを音声視覚的および言語的モダリティと統合することで、先行手法と比較して、回答生成および選択の性能が向上するか？
• RQ5 主要なモダリティ（例：キャプションや対話履歴）が欠落した場合、モデルの性能と頑健性はどのように変化するか？

主な発見

• 提案されたSTSGRモデルは、AVSDベンチマークで最先端の性能を達成し、DSTC8ではCIDErスコア1.272、DSTC7では1.249を記録し、MTN やマルチモーダルアテンションを含む先行手法を上回る。
• 回答選択タスクでは、フルモデルで平均リtrievalランク4.08、キャプションなしで5.91を達成し、ベースラインの7.41および6.54を顕著に上回る。
• アブレーションスタディの結果、STSGR表現に音声を統合することで性能が向上し、全モダリティを用いた場合、平均リtrievalランクが4.67から4.08に低下する。
• STSGR表現単体でも、I3D や VGG 特徴を上回る性能を示し、生成タスクではシーングラフを用いたCIDErスコア1.265、MTN（I3D）を用いた1.249を記録する。
• 定性的な結果では、モデルがフレーム間でオブジェクトを的確に追跡し、ごみだらけのシーンでも空間的・時系列的質問に対して高い信頼性で回答している。
• シャッフルドトランスフォーマー変種は、過学習を低減し、一般化性能を向上させる。すべての評価指標およびアブレーション設定で一貫した性能向上が確認された。