[論文レビュー] AutoAD: Movie Description in Context

Tengda Han, Max Bain+4 more|arXiv (Cornell University)|Mar 29, 2023

Subtitles and Audiovisual MediaArts and Humanities被引用数 3

ひとこと要約

この論文では、視覚的および文脈的ヒント（先行AD、字幕、時間的文脈など）を活用することで、事前学習済みの視覚言語モデル（CLIP）と大規模言語モデル（GPT）を統合し、自動映画音声説明生成のための新規フレームワークAutoADを提案する。文脈に配慮した生成、部分的データソースにおけるデータ事前学習、および洗練・強化されたMAD-v2データセットを用いることで、LSMDCにおけるゼロショット結果を含め、映画ADベンチマークで最先端の性能を達成している。

ABSTRACT

The objective of this paper is an automatic Audio Description (AD) model that ingests movies and outputs AD in text form. Generating high-quality movie AD is challenging due to the dependency of the descriptions on context, and the limited amount of training data available. In this work, we leverage the power of pretrained foundation models, such as GPT and CLIP, and only train a mapping network that bridges the two models for visually-conditioned text generation. In order to obtain high-quality AD, we make the following four contributions: (i) we incorporate context from the movie clip, AD from previous clips, as well as the subtitles; (ii) we address the lack of training data by pretraining on large-scale datasets, where visual or contextual information is unavailable, e.g. text-only AD without movies or visual captioning datasets without context; (iii) we improve on the currently available AD datasets, by removing label noise in the MAD dataset, and adding character naming information; and (iv) we obtain strong results on the movie AD task compared with previous methods.

研究の動機と目的

• 映画の高品質で文脈的に整合性のある音声説明を生成する課題に取り組む。これは、視覚的コンテンツ、登場人物の識別、時間的ナラティブの流れの理解を要する。
• 大規模で高品質な映画ADトレーニングデータの不足を克服するため、データキュレーションパイプラインの開発と、部分的にラベル付けされたデータやテキストのみのデータに対する事前学習の活用。
• 視覚フレーム、先行AD出力、字幕といったマルチソースの文脈を統合することで、登場人物の名前指定や動作説明の分野でモデル性能を向上。
• 特定の映画ADのスタイルと構造に合わせたターゲット事前学習により、LSMDCのような下流ベンチマークへのゼロショット一般化を可能に。
• ラベルノイズの除去と登場人物名の追加を含む、MADデータセットのアノテーション品質と信頼性を向上させ、洗練され、より使いやすいベンチマークを提供。

提案手法

• 軽量なアダプターネットワークを介してCLIP（視覚エンコーダ）とGPT-2（言語デコーダ）を統合し、文脈に配慮した視覚条件下でのテキスト生成を可能に。
• 複数の文脈タイプを統合：先行AD文（再帰的文脈）、字幕（会話文脈）、視覚フレームを用いて、物語の整合性とエンティティ追跡を向上。
• 視覚エンコーダをオープンドメインの視覚テキストデータセット（例：WebVid、CC3M）で事前学習し、言語モデルをテキストのみのADデータ（AudioVault-AD）で事前学習することで、ドメインギャップを埋め、スタイルの整合性を向上。
• スピーカー基盤の分離パイプラインを用いて、完全な動画アクセスなしに大規模なテキストのみの映画ADデータを自動収集し、スケーラブルなデータ収集を実現。
• 再帰的文脈モデリング戦略を適用し、以前のクリップからのAD出力を入力として処理することで、限定的な文脈可視性のもとでのリアルタイム生成をシミュレート。
• ハイブリッドトレーニング設定を最適化：完全な文脈を用いてMAD-v2でファインチューニングし、オラクル（真値の文脈）および再帰的（予測された文脈）の両設定で評価。

実験結果

リサーチクエスチョン

• RQ1 視覚言語基盤モデルに文脈に配慮した適応を組み合わせることで、自動映画音声説明の品質と整合性が向上するか？
• RQ2 部分的にラベル付けされたデータやテキストのみのデータに対する事前学習が、リソースが限られた映画AD生成における一般化性能にどの程度寄与するか？
• RQ3 先行AD、字幕、視覚フレームといった複数の文脈タイプを統合することで、モデルの性能と物語の一貫性にどのような影響を与えるか？
• RQ4 MADデータセットの洗練・強化版（MAD-v2）を用いて訓練したモデルが、トレーニングサンプル数が少ないにもかかわらず、以前の手法を上回る性能を示せるか？
• RQ5 本手法は、LSMDCデータセットのトレーニングデータでファインチューニングを行わず、ゼロショット評価においてどの程度一般化できるか？

主な発見

• オラクル設定下でMAD-v2データセット上でCIDErスコア21.9を達成し、ClipCap や CapDec といった先行手法を顕著に上回った。
• テキストのみのADデータ（AudioVault-AD）で事前学習することで、CIDErが12.6から14.1に向上し、ドメイン特化型言語適応の重要性を示した。
• 視覚のみの事前学習（WebVid）とテキストのみの事前学習（AudioVault-AD）の組み合わせにより、21.9のCIDErスコアを達成し、事前学習なしのベースラインから2.9ポイントの向上を実現。
• MAD-v1ではなくMAD-v2を用いることで、すべての設定で性能向上が見られ、トレーニングサンプル数が少ないにもかかわらず1.5〜2.0ポイントのCIDErスコア上昇を確認。これは、ラベルノイズの低減とデータ品質の向上を裏付けている。
• LSMDCベンチマークでゼロショット設定下で16.7のCIDErスコアを達成し、ファインチューニングなしで前回のSOTA手法（15.4）を上回った。
• 文脈長を1から6のAD文に増やすことで性能向上が見られたが、GPT-2の注意メカニズムの複雑性のため、3文を超えると増益が鈍化し、文脈と効率性のトレードオフが顕在化した。