[論文レビュー] Zero-Shot Video Captioning with Evolving Pseudo-Tokens

Yoad Tewel, Yoav Shalev+3 more|arXiv (Cornell University)|Jul 22, 2022

Multimodal Machine Learning Applications被引用数 14

ひとこと要約

本稿では、固定されたGPT-2およびCLIPフレームワーク内での学習可能な擬似トークンの反復最適化を用いて、微調整なしに一貫性があり知識を豊富に含むキャプションを生成するゼロショット動画キャプション手法を提案する。CLIP一致スコアを最大化しながら文の流れを保つように繰り返しプロンプトを最適化することで、微調整を必要とせず、段階的に具体的で根拠のあるキャプションを生成する。この手法は、文の流れの自然さと根拠の強さの両面で、最先端のゼロショット手法を上回る性能を発揮する。

ABSTRACT

We introduce a zero-shot video captioning method that employs two frozen networks: the GPT-2 language model and the CLIP image-text matching model. The matching score is used to steer the language model toward generating a sentence that has a high average matching score to a subset of the video frames. Unlike zero-shot image captioning methods, our work considers the entire sentence at once. This is achieved by optimizing, during the generation process, part of the prompt from scratch, by modifying the representation of all other tokens in the prompt, and by repeating the process iteratively, gradually improving the specificity and comprehensiveness of the generated sentence. Our experiments show that the generated captions are coherent and display a broad range of real-world knowledge. Our code is available at: https://github.com/YoadTew/zero-shot-video-to-text

研究の動機と目的

• 大規模かつ高品質な人間アノテーション付きデータセットが存在しない状況における動画キャプションの課題に対処すること。
• 微調整を一切行わず、事前学習済みモデルを活用して自然で根拠のある記述を生成可能なゼロショット動画キャプションを実現すること。
• 新しい反復的プロンプト最適化プロセスを用いて、個々のトークンではなく一文全体を一度に最適化することで、キャプションの品質を向上させること。
• 希薄な動画フレームから現実世界の知識と物語的構造をモデルが組み込むことを可能にすること。

提案手法

• 本手法は2つの固定モデルを用いる：自然言語生成のためのGPT-2と、キャプション品質をガイドするためのCLIP。
• プロンプトは3つの要素から構成される：言語モデルの潜在空間内の学習可能な擬似トークン、ランダムなコンテキストプロンプト（例：「写真の」）、および以前に生成されたトークン。
• 自己回帰的生成の過程で、擬似トークンはメモリ上で最適化され、生成された文の平均CLIP一致スコアを最大化するように調整され、コントラスト損失が使用される。
• 最適化プロセスは反復的に行われる（最大16回まで）；前の反復で得られた最適化済みの擬似トークンを新たな出発点として用いることで、段階的に具体的で根拠のあるキャプションが生成される。
• このプロセスにより、次に生成されるトークンの尤度が急激に変化するのを防ぎ、文の自然さを維持しながら入力フレームとの整合性を向上させる。
• 最終的なキャプションは、すべての反復で得られた中でCLIP一致スコアが最も高いものを選択する。

実験結果

リサーチクエスチョン

• RQ1 微調整なしに、アノテーション付きデータセットを学習せず、一貫性があり知識を豊富に含むキャプションを生成できるか？
• RQ2 個々のトークンの最適化ではなく、一文全体を一度に最適化する反復的プロンプト最適化により、キャプション品質が向上するか？
• RQ3 GPT-2やCLIPのような固定モデルに基づく手法は、希薄な動画フレームから論理的な出来事の順序と現実世界の知識を反映する物語を生成できるか？
• RQ4 擬似トークンの反復的最適化は、ベースラインのゼロショット手法と比較して、キャプションの根拠の強さと自然さにどのような影響を与えるか？

主な発見

• 提案手法は人間評価で4.14（5段階スケール）のスコアを達成し、次に優れた手法（2.30）を大きく上回り、自然さと根拠の強さの両面で優れた性能を示した。
• 画像キャプションにおいても、人間評価で4.01のスコアを記録し、次に優れた手法（2.52）を上回った。これは、視覚入力への一般化能力が非常に高いことを示している。
• 反復の過程でキャプションの具体的さが向上：初期には抽象的概念（例：「兵士」「戦闘」）から、次第に具体的な実体（例：「フォルダのキャラクター」）へ、最終的には物語的文脈（例：「アニメーションのコマーシャル」）へと発展した。
• ある動画例では、16回の反復でCLIP一致スコアが0.70から0.88に上昇し、入力フレームとの整合性が向上したことが示された。
• 微調整による性能向上があるMAGICなどのトークンレベル最適化ベースラインと比較して、本手法は文の自然さと一貫性（ perplexity（PP）指標で測定）において優れた性能を示した。MAGICは微調整により教師あり評価指標で優れていたが、本手法はゼロショット設定で優位であった。
• ランダムな画像セットを用いたストレステストでは、入力画像が意味的に無関係であっても、一貫性があり物語的であるような記述を生成できた。これは、合成的推論と物語構築の能力が優れていることを示している。