[論文レビュー] Information Maximizing Visual Question Generation

Ranjay Krishna, Michael S. Bernstein+1 more|arXiv (Cornell University)|Mar 27, 2019

Multimodal Machine Learning Applications参考文献 66被引用数 9

ひとこと要約

本稿では、画像、質問、期待される回答カテゴリ間の相互情報量を最大化することで、目的志向的で多様な質問を生成する情報最大化型視覚的質問生成モデルを提案する。変分的潜在空間と二重正則化を用いることで、正解のない状況でも質問生成が可能となり、現実世界の展開において質問の多様性と概念の発見が著しく向上する。

ABSTRACT

Though image-to-sequence generation models have become overwhelmingly popular in human-computer communications, they suffer from strongly favoring safe generic questions ("What is in this picture?"). Generating uninformative but relevant questions is not sufficient or useful. We argue that a good question is one that has a tightly focused purpose --- one that is aimed at expecting a specific type of response. We build a model that maximizes mutual information between the image, the expected answer and the generated question. To overcome the non-differentiability of discrete natural language tokens, we introduce a variational continuous latent space onto which the expected answers project. We regularize this latent space with a second latent space that ensures clustering of similar answers. Even when we don't know the expected answer, this second latent space can generate goal-driven questions specifically aimed at extracting objects ("what is the person throwing"), attributes, ("What kind of shirt is the person wearing?"), color ("what color is the frisbee?"), material ("What material is the frisbee?"), etc. We quantitatively show that our model is able to retain information about an expected answer category, resulting in more diverse, goal-driven questions. We launch our model on a set of real world images and extract previously unseen visual concepts.

研究の動機と目的

• 最大尤度学習による訓練が原因で、一般的で情報のない質問を生成してしまう既存の視覚的質問生成モデルの限界を是正すること。
• 物体、属性、色、素材などの特定の回答カテゴリを引き出すことを目的とした、目的志向的な質問生成フレームワークを設計すること。
• 変分モデルにおける離散的言語トークンの非微分可能性と相互情報量最大化における後方分布の崩壊を克服すること。
• 期待される回答が不明な状況でも、回答カテゴリの正則化された潜在空間を学習することで、質問生成を可能にすること。
• モデルが実世界の画像データセットにおいて、新しい視覚的概念をどのように発見できるかを評価・実証すること。

提案手法

• 画像、質問、期待される回答間の相互情報量を最大化するため、連続的潜在空間を用いた変分オートエンコーダとして視覚的質問生成を定式化する。
• 画像・質問・回答の統合表現を担う主な潜在空間と、回答カテゴリによって正則化される二次的な潜在空間を導入し、後方分布の崩壊を防止する。
• 潜在空間が質問生成に必要な情報を保持していることを保証するため、画像および回答の表現に対する再構成損失を用いる。
• 主な潜在空間と二次的な潜在空間の間のKLダイバージェンスを最小化することで、モデルの質問生成が回答カテゴリの期待と一致するように調整する。
• VQAデータセットを用いて訓練し、上位500の回答に注釈が付与された15の回答カテゴリを活用することで、カテゴリに配慮した質問生成を可能にする。
• 実世界のソーシャルメディア画像にモデルを展開する際は、ResNet18分類器を用いて回答カテゴリを予測し、正解のない状況でも質問を生成する。

実験結果

リサーチクエスチョン

• RQ1 物体、属性、色、素材などの特定の回答カテゴリに焦点を当てた、一般的でない質問を生成できる視覚的質問生成モデルを訓練できるか？
• RQ2 離散的言語トークンの非微分性があるにもかかわらず、画像、質問、期待される回答間の相互情報量をどのように最大化できるか？
• RQ3 二重潜在空間アーキテクチャは、期待される回答が不明な状況でも、後方分布の崩壊を防ぎ、効果的な質問生成を可能にするか？
• RQ4 モデルは、実世界の画像において、以前に見られなかった視覚的概念を発見する多様で新しい質問をどれほど生成できるか？
• RQ5 関連性、多様性、画像および回答との相互情報量という観点から、ベースライン手法と比較して、モデルの性能はどの程度向上するか？

主な発見

• 本モデルは、ベースラインのV-IC2Qと比較して、質問の多様性が顕著に向上し、実世界の展開において411件の質問のうち80の新しい物体概念を発見したのに対し、ベースラインではたったの10件にとどまった。
• 実世界の展開において、本モデルが生成した質問の97.2％が期待される回答カテゴリに関連していたのに対し、ベースラインでは56.8％にとどまった。
• 本モデルは、特に「形状」と「素材」のカテゴリにおいて質問生成の多様性が高く、例として「[形状/素材] は 何でできていますか？」のような未発表の質問を生成した。
• 正解のない状況でも、質問生成に際して画像との関連性が100％（クラウドソーシング評価）を維持した。
• 回答カテゴリによって正則化された第二の潜在空間の導入により、訓練データセット内の特定の回答に過剰適合するのを抑制し、一般化性能が向上した。
• 回答に依存しない生成であるがゆえに言語モデルスコアは低かったものの、例として「バットは何でできていますか？」のような高品質で文脈に根ざした質問を生成した。