[論文レビュー] Automatic Generation of Grounded Visual Questions

Shijie Zhang, Lizhen Qu+3 more|arXiv (Cornell University)|Dec 20, 2016

Multimodal Machine Learning Applications参考文献 11被引用数 11

ひとこと要約

本論文は、1枚の画像から多様で視覚的に根拠のある質問を自動的に生成するための、初めてのエンドツーエンドモデルを提案する。このモデルは、密度の高いキャプションと段階的なフレームワークを活用し、質問の種類を選択し、文法的に正しい、文脈的に関連のある質問を生成する。モデルはベースラインを著しく上回り、VQAデータセットにおいて最大216%高いカバレッジを達成し、すべての評価指標で文法的正確性と関連性が優れている。

ABSTRACT

In this paper, we propose the first model to be able to generate visually grounded questions with diverse types for a single image. Visual question generation is an emerging topic which aims to ask questions in natural language based on visual input. To the best of our knowledge, it lacks automatic methods to generate meaningful questions with various types for the same visual input. To circumvent the problem, we propose a model that automatically generates visually grounded questions with varying types. Our model takes as input both images and the captions generated by a dense caption model, samples the most probable question types, and generates the questions in sequel. The experimental results on two real world datasets show that our model outperforms the strongest baseline in terms of both correctness and diversity with a wide margin.

研究の動機と目的

• 視覚的入力に根拠を持つ、自動的かつ多様な視覚質問生成手法の不足に対処すること。
• 1枚の画像から1つの質問しか生成しない、またはきめつめのルールベースのパターンに依存する既存のシステムの限界を克服すること。
• 視覚的特徴とテキスト特徴を活用して、1枚の画像から複数の多様で文法的に正しい質問を生成できるモデルを開発すること。
• 手動によるカタログ化に起因する制限により、VQAデータセットの質問の多様性とカバレッジを向上させること。
• 高品質な自動質問生成を通じて、VQAシステムのより強固でスケーラブルなトレーニングを可能にすること。

提案手法

• モデルは、入力画像から包括的で密度の高いキャプションを生成するDenseCapを用い、豊かな視覚的文脈を提供する。
• 質問タイプセレクタモジュールは、密度の高いキャプションに基づいて最も確率の高い質問タイプ（例：「何」、「どこ」、「どう」）をサンプリングする。
• 質問生成モジュールは、視覚的特徴（VGG-16から得る）、密度の高いキャプション、および選択された質問タイプを統合し、自然言語の質問を生成する。
• デコード中にバイグラム言語モデルを統合することで、滑らかさを向上させ、繰り返しを減らし、文法的正確性を向上させる。
• フレームワークは、アテンション機構を用いたシーケンス・ツー・シーケンス学習により、Visual7WおよびVQAの2つのベンチマークデータセット上でエンドツーエンドに訓練される。
• 評価には、画像キャプションおよび機械翻訳分野で標準的な指標（BLEU、ROUGE-L、METEOR）を用い、1枚の画像あたり複数の質問を生成した際のカバレッジ分析も実施する。

実験結果

リサーチクエスチョン

• RQ1 自動モデルは、1枚の画像から複数の多様で視覚的に根拠のある質問を生成できるか？
• RQ2 本モデルの質問の多様性とカバレッジは、手動でカタログ化されたデータセットおよび既存のベースラインと比べてどの程度優れているか？
• RQ3 バイグラム言語モデルを統合することで、生成された質問の文法的正確性と滑らかさはどの程度向上するか？
• RQ4 本モデルは、視覚的コンテンツに高い関連性を保ちながら、さまざまな質問タイプに一般化できるか？
• RQ5 1枚の画像あたり生成する質問の数が増加するに従い、本モデルのパフォーマンスはどのように変化するか？

主な発見

• 1枚の画像あたり6つの質問を生成する際、VQAデータセットにおいてMETEORベースのカバレッジで最も強いベースラインを最大216%上回った。
• VQAデータセットでは、本モデルはベースライン比でBLEU-4スコアを97%向上させ、基準となる質問とのn-gram一致度が優れていることを示している。
• ROUGE-Lスコアの改善は一貫しており、本モデルが基準回答との長い共通部分列をより正確に生成していることを確認している。
• バイグラム言語モデルの統合により、繰り返し（例：「the the」）が著しく減少し、滑らかさが向上し、高次のn-gramにおけるBLEUスコアの上昇によってそれが裏付けられている。
• 本モデルが生成する質問タイプの分布は、手動でカタログ化されたデータセットよりもバランスが取れており、特に「何」に関する質問が過剰に多い（Visual7Wでは55%、VQAでは89%）という問題を是正している。
• 生成された質問の長さ分布は、人間がアノテートした質問と非常に類似しており、自然で多様な文長を再現していることが示された。