[論文レビュー] Text with Knowledge Graph Augmented Transformer for Video Captioning

Xin Gu, Guang Chen+4 more|arXiv (Cornell University)|Mar 22, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、外部の事前構築済み知識グラフとマルチモodalなビデオ特徴（視覚的、音声的、文脈的）を統合することで、長尾語彙の課題に対処する二重ストリーム変換器、TextKGを提案する。外部ストリーム（知識に配慮した）と内部ストリーム（マルチモダリティ特徴抽出器）の間でクロスアテンションを活用することにより、キャプション品質が向上し、YouCookIIで最先端手法比でCIDErスコアが18.7%絶対値で向上した。

ABSTRACT

Video captioning aims to describe the content of videos using natural language. Although significant progress has been made, there is still much room to improve the performance for real-world applications, mainly due to the long-tail words challenge. In this paper, we propose a text with knowledge graph augmented transformer (TextKG) for video captioning. Notably, TextKG is a two-stream transformer, formed by the external stream and internal stream. The external stream is designed to absorb additional knowledge, which models the interactions between the additional knowledge, e.g., pre-built knowledge graph, and the built-in information of videos, e.g., the salient object regions, speech transcripts, and video captions, to mitigate the long-tail words challenge. Meanwhile, the internal stream is designed to exploit the multi-modality information in videos (e.g., the appearance of video frames, speech transcripts, and video captions) to ensure the quality of caption results. In addition, the cross attention mechanism is also used in between the two streams for sharing information. In this way, the two streams can help each other for more accurate results. Extensive experiments conducted on four challenging video captioning datasets, i.e., YouCookII, ActivityNet Captions, MSRVTT, and MSVD, demonstrate that the proposed method performs favorably against the state-of-the-art methods. Specifically, the proposed TextKG method outperforms the best published results by improving 18.7% absolute CIDEr scores on the YouCookII dataset.

研究の動機と目的

• まれなまたは未学習の物体、属性、行動が誤って予測されるビデオキャプションにおける長尾語彙の課題に対処すること。
• 事前構築済み知識グラフからの外部知識をキャプション生成プロセスに統合することで、キャプション品質を向上させること。
• マルチモダリティビデオ特徴と知識グラフ情報の両方を効果的に統合する二重ストリーム変換器アーキテクチャを設計すること。
• 多様で困難なビデオキャプションベンチマークでこの手法を評価し、その頑健性と最先端の性能を示すこと。

提案手法

• TextKGは二重ストリーム変換器を採用する：内部ストリームはビデオフレーム、音声トランスクリプト、キャプションといったマルチモダリティ入力を処理する。一方、外部ストリームは検出された顕著な物体と知識グラフエンティティとの間の相互作用をモデル化する。
• 知識グラフエンティティは、ビデオフレーム内の検出された顕著な物体に基づいて取得され、その特徴は視覚的、音声的、キャプション特徴と統合されて外部ストリームに供給される。
• 内部ストリームと外部ストリームの間でクロスアテンション機構を適用し、双方向の情報共有を可能にすることで、特徴表現を向上させる。
• 知識選択メカニズムにより、ノイズが多いまたは関係のない知識をフィルタリングし、モデルの頑健性と性能を向上させる。
• 標準のキャプション損失関数を用いて、YouCookII、ActivityNet Captions、MSR-VTT、MSVDの4つのベンチマークデータセットでエンドツーエンドにモデルを訓練する。
• 一般知識グラフと特定知識グラフの両方を用いる。一般知識グラフは広範な意味的関係を提供し、特定知識グラフはエンティティ固有の詳細な事実を提供する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフからの外部知識の統合が、ビデオキャプションにおける長尾語彙の課題を顕著に軽減できるか？
• RQ2 視覚的・音声的・文脈的マルチモダリティ特徴と知識グラフ情報の統合が、キャプション品質をどのように向上させるか？
• RQ3 珍しいまたは未学習のフレーズを予測する際、音声トランスクリプトと知識グラフ情報の相対的寄与度は何か？
• RQ4 音声トランスクリプトの品質が、知識拡張型ビデオキャプションモデルの性能にどのように影響するか？
• RQ5 知識選択メカニズムは、ノイズが多いまたは関係のない知識をフィルタリングすることで、モデルの頑健性を向上させるか？

主な発見

• TextKGは、YouCookIIデータセットにおける段落レベル評価で、最高の公表済み結果比でCIDErスコアを18.7%絶対値で向上させた。
• 知識グラフ情報の統合により、ビデオおよび領域特徴を組み合わせた場合、CIDErスコアが4.6ポイント（71.3から75.9へ）向上した。
• 音声トランスクリプトが存在しない状況でも、知識グラフ統合によりCIDErスコアが3.9ポイント（45.9から49.8へ）向上した。これは、長尾問題の緩和において知識グラフが果たす重要な役割を示している。
• 知識選択メカニズムは不可欠である。これを除去するとCIDErスコアが3.9ポイント低下し、ノイズの多い知識が性能を損なうことが示された。
• 一般知識グラフと特定知識グラフの両方を用いた手法は、トランスクリプト品質のレベルにかかわらず、ベースラインを上回る性能を示した。一般知識グラフはトランスクリプトのノイズに対してより高い頑健性を示した。
• 定性的な結果では、TextKGが知識グラフの関係を活用して「sesame oil」や「black pepper」のような長尾語彙を正しく生成できたのに対し、標準モデルではこれを逸脱していた。