[論文レビュー] Towards Visual-Prompt Temporal Answering Grounding in Medical Instructional Video

Bin Li, Yixuan Weng+2 more|arXiv (Cornell University)|Mar 13, 2022

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本稿では、事前学習言語モデルに視覚的ハイライト特徴を組み込むことで、視覚的・言語的特徴の対応を強化する、医療指導動画における時系列回答の位置特定のための新規手法であるVisual-Prompt Text Span Localizing (VPTSL) を提案する。タイムスタンプ付き字幕を文脈として用い、視覚的プロンプトによりテキストと動画の間の意味的ギャップを埋めることで、MedVidQA データセット上でSOTAより28.36%高いmIOUを達成し、スパン位置特定の精度向上が顕著に示された。

ABSTRACT

The temporal answering grounding in the video (TAGV) is a new task naturally derived from temporal sentence grounding in the video (TSGV). Given an untrimmed video and a text question, this task aims at locating the matching span from the video that can semantically answer the question. Existing methods tend to formulate the TAGV task with a visual span-based question answering (QA) approach by matching the visual frame span queried by the text question. However, due to the weak correlations and huge gaps of the semantic features between the textual question and visual answer, existing methods adopting visual span predictor perform poorly in the TAGV task. To bridge these gaps, we propose a visual-prompt text span localizing (VPTSL) method, which introduces the timestamped subtitles as a passage to perform the text span localization for the input text question, and prompts the visual highlight features into the pre-trained language model (PLM) for enhancing the joint semantic representations. Specifically, the context query attention is utilized to perform cross-modal interaction between the extracted textual and visual features. Then, the highlight features are obtained through the video-text highlighting for the visual prompt. To alleviate semantic differences between textual and visual features, we design the text span predictor by encoding the question, the subtitles, and the prompted visual highlight features with the PLM. As a result, the TAGV task is formulated to predict the span of subtitles matching the visual answer. Extensive experiments on the medical instructional dataset, namely MedVidQA, show that the proposed VPTSL outperforms the state-of-the-art (SOTA) method by 28.36% in terms of mIOU with a large margin, which demonstrates the effectiveness of the proposed visual prompt and the text span predictor.

研究の動機と目的

• 時系列回答の位置特定（TAGV）において、テキストの質問と動画の視覚的スパンとの間の意味的不一致を解消すること。
• テキストと動画のモダリティの相関が弱く、意味的ギャップが大きい医療指導動画におけるクロスモodal理解を向上させること。
• 事前学習言語モデル（PLM）に視覚的ハイライト特徴をプロンプトとして統合することで、スパン予測の精度を向上させること。
• TAGVタスクを直接的な動画フレーム回帰ではなく、タイムスタンプ付き字幕上のテキストスパンの位置特定として定式化すること。

提案手法

• 動画とテキストのハイライトを用いて視覚的ハイライト特徴を生成する視覚的プロンプト学習フレームワークを導入し、PLMのプロンプトとして使用する。
• 文脈クエリアテンションを用いて、質問と字幕からのテキスト特徴と視覚的ハイライト特徴の間でクロスモーダル相互作用を実現する。
• 質問、タイムスタンプ付き字幕、およびプロンプト化された視覚的特徴を事前学習言語モデルでエンコードし、字幕内の回答スパンを予測するテキストスパン予測器を設計する。
• 視覚的ハイライトと関連する字幕スパンの整合性を保証するため、ハイライト損失を用いて視覚的プロンプトの生成を監視する。
• 予測スパンの周囲の入力テキスト範囲を拡張するための拡張時間ハイパーパrameter α を導入し、時間的変動に対してより頑健な性能を実現する。
• 強力な意味的理解を実現するため、ランダム初期化やword2vecベースの初期化に代えて、事前学習言語モデル（PLM）を活用する。

実験結果

リサーチクエスチョン

• RQ1 視覚的プロンプトは、医療指導動画におけるテキストの質問と視覚的動画の回答との間の意味的ギャップを効果的に埋め合わせることができるか？
• RQ2 文脈としてタイムスタンプ付き字幕を用いることで、直接的なフレームレベル予測に比べて、時系列的回答の位置特定精度がどの程度向上するか？
• RQ3 PLMに視覚的特徴をプロンプトとして統合することで、スパン位置特定のためのテキスト・動画の共同表現学習がどの程度向上するか？
• RQ4 拡張時間率 α や視覚的プロンプト損失重み λ といったハイパーパrameterの最適な設定は何か、それが頑健な性能を発揮するか？
• RQ5 視覚的プロンプトは、字幕の言語的および非言語的要素の間を橋渡しし、注意分布を適切に制御することで、より正確なスパン予測を可能にするか？

主な発見

• 提案手法VPTSLは、MedVidQA データセット上でSOTA手法に比べ28.36%高いmIOUを達成し、顕著な性能向上を示した。
• 視覚的プロンプトを除去するとmIOUが2.4低下し、テキストと視覚の意味的整合性を保つためにその役割が不可欠であることが確認された。
• 事前学習言語モデルを用いることで、ランダム初期化に比べてmIOUが2.11ポイント向上し、強力な意味的符号化の重要性が示された。
• 最適な拡張時間ハイパーパrameter α = 0.25 が最良の性能を発揮し、それより高い値や低い値でも性能が劣化した。
• 最適な視覚的プロンプト損失重み λ = 0.1 が性能を最大化し、バランスの取れた監視が予測品質を向上させることを示した。
• 注意可視化の結果、視覚的プロンプトが回答スパン内の隣接する字幕に注目を向けることを促進しており、特に言語的および非言語的要素の橋渡しに寄与していることが確認された。