[論文レビュー] CapWAP: Captioning with a Purpose

Adam Fisch, Kenton Lee+3 more|arXiv (Cornell University)|Nov 9, 2020

Multimodal Machine Learning Applications参考文献 54被引用数 5

ひとこと要約

本稿では、質問・回答（QA）モデルを報酬信号として用いる強化学習を用いて、特定のユーザーの情報ニーズに最適化されたキャプションを生成する新規な画像キャプションフレームワーク、CapWAPを提案する。画像-質問-回答の三つ組みで学習させ、QAが正しく行えるキャプションを報酬とすることで、汎用的なキャプションモデルに比べ、より目的意識が強く、情報量の多いキャプションを生成する。複数のデータセットにおいて、下流のQA性能が顕著に向上する。

ABSTRACT

The traditional image captioning task uses generic reference captions to provide textual information about images. Different user populations, however, will care about different visual aspects of images. In this paper, we propose a new task, Captioning with a Purpose (CapWAP). Our goal is to develop systems that can be tailored to be useful for the information needs of an intended population, rather than merely provide generic information about an image. In this task, we use question-answer (QA) pairs---a natural expression of information need---from users, instead of reference captions, for both training and post-inference evaluation. We show that it is possible to use reinforcement learning to directly optimize for the intended information need, by rewarding outputs that allow a question answering model to provide correct answers to sampled user questions. We convert several visual question answering datasets into CapWAP datasets, and demonstrate that under a variety of scenarios our purposeful captioning system learns to anticipate and fulfill specific information needs better than its generic counterparts, as measured by QA performance on user questions from unseen images, when using the caption alone as context.

研究の動機と目的

• 汎用的画像キャプションの限界、すなわちユーザー固有の情報ニーズを予測できない点を是正すること。
• ユーザーが予想する質問に直接対応するように最適化する「目的を持つキャプション（CapWAP）」という新たなタスクを提案すること。
• QAパフォーマンスを報酬信号として用いることで、ユーザーの質問に答えられるキャプションを生成できるようになることを示すこと。
• 合成的事前学習が強化学習ベースのキャプションにおける政策収束と滑らかさを向上させることを示すこと。

提案手法

• 報酬は、生成されたキャプションを文脈として用いてQAモデルが質問に正しく回答できるかどうかの正確性に基づく強化学習フレームワークを採用する。
• 固定された強力なQAモデルを用いて、生成されたキャプションが、ユーザーのクエリ分布から抽出された質問に対して正しい答えを導けるかどうかを評価する。
• 学習の目的は、訓練用QAペアと同じ分布から抽出された質問に対して、QAモデルが正しく答えられる確率を最大化することである。
• 報酬空間の高報酬領域に政策を初期化するための新規な合成的事前学習手順（SYN）を導入し、サンプル効率を向上させるとともに、報酬の疎らさの問題を軽減する。
• 4つのVQAデータセット（CapGQA, CapVisual7W, CapVizWiz, CapVQA）にこの手法を適用し、画像-質問-回答の三つ組みを監視信号として用いてCapWAPデータセットに変換する。
• ポリシー勾配を用いてエンドツーエンドで学習し、初期事前学習には交差エントロピー損失、微調整にはQAベースの報酬に基づく強化学習を用いる。

実験結果

リサーチクエスチョン

• RQ1 汎用的記述ではなく、特定のユーザーの情報ニーズを予測し、それに応えるように画像キャプションモデルを学習させることは可能か？
• RQ2 QAパフォーマンスを報酬信号として用いることで、標準的なキャプションよりも実際のユーザーの質問に役立つキャプションが得られるか？
• RQ3 合成的事前学習は、キャプションにおける強化学習のサンプル効率と品質をどのように向上させるか？
• RQ4 CapWAPアプローチは、多様なユーザー層や質問タイプ（視覚障害者からの長文質問を含む）にどの程度一般化可能か？
• RQ5 キーワードベースの監視と比較して、QAベースの報酬信号は、不適切な生成や不自然なキャプションの発生を減らすか？

主な発見

• 合成的事前学習を施したCapWAPモデル（RL + SYN）は、CapVisual7Wデータセットで31.3のF1スコアを達成し、ベースラインのMLEモデル（14.1 F1）を顕著に上回った。
• 視覚障害者から得られた実際の質問を含むCapVizWizデータセットでは、RL + SYNが22.0のEMと31.3のF1を達成し、複雑で長文のクエリに対しても高い性能を示した。
• QAモデルを報酬に用いることで、キーワードベースの報酬に比べ、すべてのデータセットでF1およびEMスコアが向上し、不適切で不自然なキャプションが減少した。
• RL + SYNモデルはより自然な形容詞使用率（adj%）と豊富なビグラム使用（|V²|）を維持しており、滑らかさと言語的質の向上を示している。
• アブレーションスタディの結果、QAモデルを排除するか、キーワード存在信号のみを用いると性能が低下し、報酬信号における意味的正確性の重要性が確認された。
• 汎用的キャプションベースラインに比べ、より長く、より詳細なキャプションを生成しており、形容詞の使用量と語彙の多様性が高く、関連する視覚的属性のカバーが良好であることが示された。