[論文レビュー] Modeling Semantic Composition with Syntactic Hypergraph for Video Question Answering

Zenan Xu, Wanjun Zhong+3 more|arXiv (Cornell University)|May 13, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、依存木から構築された構文的ハイパーグラフと最適輸送を用いてスパースで正確なクロスモodal整合を実現することで、動画質問応答におけるマルチレベルの意味的構成をモデル化する、クロスモダリティに注意を向ける構文的ハイパーグラフ畳み込みネットワークであるSCANを提案する。この手法は、コンセプトの完全な理解（例：'緑の服を着た少女' や '座っている少女'）を捉えることができず、従来の単語レベルの整合では不十分な動画質問応答の限界を克服し、明示的な構成的意味の捉え方とノイズのフィルタリングにより、3つのVideoQAベンチマークで強力なベースラインを上回る性能を達成する。

ABSTRACT

A key challenge in video question answering is how to realize the cross-modal semantic alignment between textual concepts and corresponding visual objects. Existing methods mostly seek to align the word representations with the video regions. However, word representations are often not able to convey a complete description of textual concepts, which are in general described by the compositions of certain words. To address this issue, we propose to first build a syntactic dependency tree for each question with an off-the-shelf tool and use it to guide the extraction of meaningful word compositions. Based on the extracted compositions, a hypergraph is further built by viewing the words as nodes and the compositions as hyperedges. Hypergraph convolutional networks (HCN) are then employed to learn the initial representations of word compositions. Afterwards, an optimal transport based method is proposed to perform cross-modal semantic alignment for the textual and visual semantic space. To reflect the cross-modal influences, the cross-modal information is incorporated into the initial representations, leading to a model named cross-modality-aware syntactic HCN. Experimental results on three benchmarks show that our method outperforms all strong baselines. Further analyses demonstrate the effectiveness of each component, and show that our model is good at modeling different levels of semantic compositions and filtering out irrelevant information.

研究の動機と目的

• 動画質問応答における単語レベルの整合の限界を解消する。これは、'緑の服を着た少女' や '座っている少女' のような完全なテキスト的コンセプトを捉えられないためである。
• 自然言語の質問におけるマルチレベルの意味的構成（例：単語、語句、文）を、構文的依存構造を用いてモデル化する。
• ハイパーグラフ畳み込みと最適輸送を活用して、テキスト的コンセプトと視覚的オブジェクト間のクロスモダリティの整合性を向上させる。
• 初期の意味的構成にクロスモダリティ情報を組み込むことで、表現学習を強化する。
• 構文的ハイパーグラフモデリングが、関係のない視覚的およびテキスト的信号をフィルタリングする能力を有することを示す。

提案手法

• 意味のある語の構成を特定するために、市販のNLPツールを用いて各質問の構文的依存木を構築する。
• 語をノードとし、構文的部分木（構成）をハイパーエッジとする構文的ハイパーグラフを構築する。
• これらの意味的構成の初期表現を学習するために、ハイパーグラフ畳み込みネットワーク（HCN）を適用する。
• クロスモダリティに注意を向けるメカニズムを導入し、クロスモダリティ情報を利用してテキスト的および視覚的表現を更新する。
• 最適輸送（OT）を用いて、テキスト的構成と視覚的特徴間のスパースで正確なクロスモダリティ整合を計算する。
• 階層的で下位から上位へのアプローチを用いて構文的ハイパーグラフを構築することで、異なるレベルでの意味的構成をモデル化可能にする。

実験結果

リサーチクエスチョン

• RQ1 質問におけるマルチレベルの意味的構成をモデル化することで、動画質問応答のパフォーマンスが向上するか？
• RQ2 構文的依存木を用いて意味のある語の構成を抽出することで、視覚的領域との整合性が向上するか？
• RQ3 ハイパーグラフ畳み込みネットワークは、VideoQAにおける構成的テキスト的コンセプトの表現を効果的に学習できるか？
• RQ4 最適輸送に基づく整合は、ドット積アテンションよりもスパースで正確なクロスモダリティマッチングを生み出すか？
• RQ5 初期表現にクロスモダリティ情報を組み込むことで、モデルのロバストネスとパフォーマンスにどのような影響を与えるか？

主な発見

• SCANは3つのVideoQAベンチマークでSOTA（最先端）のパフォーマンスを達成した：MSVD-QAで40.3%、MSRVTT-QAで37.1%を記録し、強力なベースラインを上回った。
• アブレーションスタディの結果、構文的ハイパーグラフやクロスモダリティに注意を向けるモジュールを削除すると性能が著しく低下し、これらが重要であることが確認された。
• HCNの層数の最適値はタスクによって異なる（例：TransitionとFrameQAではl=2、Actionではl=3）ことから、構成的推論の深さにはタスク固有の要件があることが示された。
• 定性的な分析により、SCANが語句レベルや文レベルで関連する動画フレームにより適切に一致していることが確認された。例えば、'gets into the net' という表現はゴールスコアの行動に焦点を当てている。
• 最適輸送に基づく整合は、ドット積手法よりもスパースな注釈行列を生み出し、より集中的かつ正確なクロスモダリティマッチングを実現した。
• BERT-largeでさえも、SCANは優れた結果を達成しており、事前学習された文脈的埋め込みを超えて、明示的な構文的構成モデリングが価値をもたらすことが示された。