[論文レビュー] C3VQG: Category Consistent Cyclic Visual Question Generation

Shagun Uppal, Anish Madan+3 more|arXiv (Cornell University)|May 15, 2020

Multimodal Machine Learning Applications参考文献 39被引用数 5

ひとこと要約

C3VQGは、画像とカテゴリのペアを活用することで、正解の答えのアノテーションを不要にするカテゴリ一貫性のあるサイクル変分オートエンコーダーを提案する。サイクル整合性と構造的な潜在空間制約を課すことにより、多様でカテゴリ固有かつ画像に関連する質問を生成し、複数の指標で最先端の弱教師付き手法を上回る性能を発揮する。

ABSTRACT

Visual Question Generation (VQG) is the task of generating natural questions based on an image. Popular methods in the past have explored image-to-sequence architectures trained with maximum likelihood which have demonstrated meaningful generated questions given an image and its associated ground-truth answer. VQG becomes more challenging if the image contains rich contextual information describing its different semantic categories. In this paper, we try to exploit the different visual cues and concepts in an image to generate questions using a variational autoencoder (VAE) without ground-truth answers. Our approach solves two major shortcomings of existing VQG systems: (i) minimize the level of supervision and (ii) replace generic questions with category relevant generations. Most importantly, by eliminating expensive answer annotations, the required supervision is weakened. Using different categories enables us to exploit different concepts as the inference requires only the image and the category. Mutual information is maximized between the image, question, and answer category in the latent space of our VAE. A novel category consistent cyclic loss is proposed to enable the model to generate consistent predictions with respect to the answer category, reducing redundancies and irregularities. Additionally, we also impose supplementary constraints on the latent space of our generative model to provide structure based on categories and enhance generalization by encapsulating decorrelated features within each dimension. Through extensive experiments, the proposed model, C3VQG outperforms state-of-the-art VQG methods with weak supervision.

研究の動機と目的

• 高価な答えのアノテーションを、入手が容易なカテゴリラベルに置き換えることで、視覚的質問生成における教師付きの負担を低減すること。
• 正解の答えに依存せずに、意味的に関連性があり多様でカテゴリ固有の質問を画像から生成すること。
• 生成された質問と関連する答えのカテゴリの間の整合性を強制することで、質問の品質を向上させること。
• センター損失や潜在変動のハイパープライアなど、構造的な潜在空間制約を通じて、モデルの汎化性能と多様性を向上させること。
• 画像とカテゴリの入力を用いてマルチモーダル表現をモデル化することで、創造的で文脈に配慮した質問生成を可能にすること。

提案手法

• 変分オートエンコーダー（VAE）を画像とカテゴリのペアで学習させ、画像・質問・答えのカテゴリ間の相互情報量を最大化する共同潜在空間を学習する。
• 訓練中に指定された答えのカテゴリと整合性を保つように、生成された質問が一貫性を保つことを保証する、新しいカテゴリ一貫性のあるサイクル損失を導入する。
• 答えのカテゴリごとにサンプルがクラスタリングされるよう、結合された潜在空間にセンター損失を適用し、カテゴリの特異性を向上させる。
• 各潜在次元の逆分散にハイパープライアを課すことにより、内因的に独立した特徴を促進し、分離性と多様性を向上させる。
• 2段階の訓練手順を採用する：まず画像とカテゴリから質問を生成し、次に生成された質問から画像とカテゴリを再構築することで、サイクル整合性を強制する。
• マルチオブジェクティブ損失関数を用いて、画像再構築、カテゴリ再構築、質問生成を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 画像とカテゴリの監視のみを用いて、正解の答えのアノテーションがなくても、視覚的質問生成を効果的に行うことは可能か？
• RQ2 画像・質問・カテゴリ間のサイクル整合性をどのように強制することで、生成された質問の答えカテゴリの関連性を向上させられるか？
• RQ3 センター損失やハイパープライアなどの構造的潜在空間制約（例：センター損失、ハイパープライア）は、生成された質問の多様性とカテゴリ特異性をどの程度向上させるか？
• RQ4 答えの監視をカテゴリの監視に置き換えることで、質問生成の汎化性能が向上し、重複が減少するか？
• RQ5 VAEベースのフレームワークは、弱教師付き条件下で高品質で文脈的に関連性があり、一般的でない質問を生成できるか？

主な発見

• C3VQGはVQGベンチマークでROUGE-Lスコア60.50を達成し、答えの監視が一切ない前回のSOTA手法（Krishna et al., 2019）を上回った。
• モデルは97.80の関連性スコアを達成し、生成された質問と入力画像との間の意味的整合性が非常に高いことを示した。
• アブレーションスタディの結果、サイクル整合性とセンター損失の組み合わせが、カテゴリの一貫性を顕著に向上させ、答えのカテゴリの誤分類を減少させた。
• 潜在変動にハイパープライアを導入することで、潜在空間内の特徴の非相関性が促進され、質問生成の多様性が向上した。
• 定性的な結果から、C3VQGは指定された答えのカテゴリと整合性があり、文脈的に豊富で重複のない質問を生成していることが確認された。一方、ベースラインはしばしばカテゴリに整合しない出力を生成する。
• 潜在空間におけるカテゴリ固有の制約を強制することで、一般的な質問（例：'yes'、'I don’t know'）の生成が減少した。