[論文レビュー] Tem-adapter: Adapting Image-Text Pretraining for Video Question Answer

Guangyi Chen, Xiao Liu+5 more|arXiv (Cornell University)|Aug 16, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

Tem-Adapterは、CLIPのような画像・テキスト事前学習モデルを動画質問応答（VideoQA）に適応させる軽量なアダプタフレームワークを提案する。時間的整合器（Temporal Aligner）と言語誘導型自己回帰学習を用いて動画のダイナミクスを捉え、動画条件付きデコーディングを用いてテキスト表現を精緻化するための意味的整合器（Semantic Aligner）を導入している。パrameterの最小限の更新で最先端の性能を達成し、従来のアダプタ法やプロンプトチューニング法を著しく上回っている。

ABSTRACT

Video-language pre-trained models have shown remarkable success in guiding video question-answering (VideoQA) tasks. However, due to the length of video sequences, training large-scale video-based models incurs considerably higher costs than training image-based ones. This motivates us to leverage the knowledge from image-based pretraining, despite the obvious gaps between image and video domains. To bridge these gaps, in this paper, we propose Tem-Adapter, which enables the learning of temporal dynamics and complex semantics by a visual Temporal Aligner and a textual Semantic Aligner. Unlike conventional pretrained knowledge adaptation methods that only concentrate on the downstream task objective, the Temporal Aligner introduces an extra language-guided autoregressive task aimed at facilitating the learning of temporal dependencies, with the objective of predicting future states based on historical clues and language guidance that describes event progression. Besides, to reduce the semantic gap and adapt the textual representation for better event description, we introduce a Semantic Aligner that first designs a template to fuse question and answer pairs as event descriptions and then learns a Transformer decoder with the whole video sequence as guidance for refinement. We evaluate Tem-Adapter and different pre-train transferring methods on two VideoQA benchmarks, and the significant performance improvement demonstrates the effectiveness of our method.

研究の動機と目的

• CLIPのような事前学習済み画像・テキストモデルを活用することで、大規模な動画・言語モデルの学習コストを低減すること。
• 静的画像理解と動的動画理解の間のドメインギャップを埋めること。
• バックボーンを微調整せずに、言語誘導型自己回帰的目標を用いて動画内の時間的依存関係を学習すること。
• テンプレートベースの精緻化と動画条件付きテキスト生成を用いて、ウェブクロールドテキストとVideoQAの質問・回答ペアの間の意味的ギャップを低減すること。
• 最小限のパラメータと効率的な推論を用いて、強力なVideoQA性能を達成すること。

提案手法

• 動画フレームの依存関係をモデル化するためのTransformerエンコーダと、過去の視覚的特徴と言語ガイダンスを用いて将来のフレームを予測する条件付きTransformerデコーダを備えた時間的整合器（Temporal Aligner）を導入する。
• デコーダが過去のフレームとイベント進行の言語記述を条件として、将来の動画フレームを再構築する言語誘導型自己回帰的タスクを採用する。
• 質問・回答ペアを記述的イベント記述に統合するルールベースのテンプレートを設計し、事前学習と下流タスクの間の意味的ギャップを低減する。
• Transformerデコーダを用いた意味的整合器（Semantic Aligner）を実装し、全動画シーケンスをコンテキストとして参照することで、テキスト埋め込みを精緻化し、動画・テキスト間の相互作用を可能にする。
• 将来のフレームの自己回帰的予測を監視するために再構成損失（PSNR）を用い、時間的ダイナミクスの正確なモデル化を促進する。
• CLIPの視覚的およびテキストエンコーダーにアダプタを適用し、バックボーンを微調整せずにパラメータ効率的な適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 CLIPのような事前学習済み画像・テキストモデルを、完全な微調整なしにVideoQAに効果的に適応できるか？
• RQ2 言語誘導型自己回帰的タスクを導入することで、動画理解における時間的モデリングが向上するか？
• RQ3 テンプレートベースのテキスト精緻化と動画条件付きデコーディングは、事前学習とVideoQAの間の意味的ギャップを低減できるか？
• RQ4 提案されたコンponents（時間的整合器と意味的整合器）は、個別および統合的に性能にどのように寄与するか？
• RQ5 アダプタは、最小限のパラメータ更新と低い推論コストで最先端の性能を達成できるか？

主な発見

• Tem-AdapterはSUTD-TrafficQAベンチマークで46.0%の精度を達成し、次に良い手法（CLIP-Adapter）を11.2ポイント上回った。
• 推論時間を1動画あたり5.32msまで短縮しながらも、高い精度を維持しており、効率性を示している。
• アブレーションスタディの結果、時間的整合器または意味的整合器を削除すると顕著な性能低下が生じ、両者の必要性が確認された。
• 言語誘導型自己回帰的タスクにより時間的モデリングが向上し、時間的整合器と言語ガイダンスを両方使用した際のPSNRが27.4から29.1に上昇した。
• この手法は、異なる画像・テキスト事前学習モデルに一般化可能であり、わずか362万の追加パラメータで強力な性能を維持した。
• 定性的な結果から、Tem-Adapterはイベントレベルのダイナミクスを学習し、マルチモodal相互作用を通じて動画イベントの理解を向上させたことが示された。