[論文レビュー] Creativity: Generating Diverse Questions using Variational Autoencoders

Unnat Jain, Ziyu Zhang+1 more|arXiv (Cornell University)|Apr 11, 2017

Multimodal Machine Learning Applications参考文献 65被引用数 34

ひとこと要約

本論文は、1枚の画像入力から多様で創造的な質問を生成するLSTMベースのデコードを備えた変分オートエンコーダー（VAE）を提案する。広い潜在空間分布からのサンプリングにより、モデルは一貫した質問から推論的な質問に至るまで多様な質問を生成し、1枚の画像あたり最大63.83個のユニークな質問を生成し、そのうち36.92%が訓練データに存在しなかった。これは、単なる視覚認識をはるかに超える人間らしい推論と強い生成的多様性を示している。

ABSTRACT

Generating diverse questions for given images is an important task for computational education, entertainment and AI assistants. Different from many conventional prediction techniques is the need for algorithms to generate a diverse set of plausible questions, which we refer to as "creativity". In this paper we propose a creative algorithm for visual question generation which combines the advantages of variational autoencoders with long short-term memory networks. We demonstrate that our framework is able to generate a large set of varying questions given a single input image.

研究の動機と目的

• 教育的および会話型AIシステムにおける関与度の低下を引き起こす、自動視覚的質問生成における多様性の欠如に対処すること。
• 単一の画像に基づいて、正確な質問に加え、創造的で多様な質問（一貫的から推論的まで）を生成できる生成モデルを開発すること。
• 繰り返し発生する手作業による質問パターンを避けることで、AIシステムがユーザーの関心を維持できることを可能にすること。
• 潜在空間のサンプリング戦略が生成された質問の多様性と新規性に与える影響を調査すること。
• 直接的な視覚的ヒントを超えて、物体・シーン・行動に関する事前知識を必要とする質問の生成能力を評価すること。

提案手法

• モデルは、画像特徴と質問テキストを共通の低次元潜在空間に埋め込むために変分オートエンコーダーを用いる。
• 画像特徴は事前学習済みのCNNで抽出され、質問シーケンスはLSTMベースのエンコーダーで符号化される。
• 推論時、モデルは幅広い潜在分布（例：U(−20,20)）からサンプリングすることで、探索と多様性を促進する。
• 条件付きLSTMデコーダーは、画像特徴埋め込みとサンプリングされた潜在コードに注目することで質問を生成する。
• 再構成損失とKLダイバージェンスを用いて潜在空間を正則化することで、モデルはエンドツーエンドで学習される。
• サンプリング戦略を変更（例：標準正規分布 vs. 均一分布）することで、質問の多様性と新規性に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 VAE-LSTMフレームワークは、1枚の画像入力から多数の多様で重複のない質問を生成できるか？
• RQ2 潜在空間のサンプリング分布の選択が、生成された質問の多様性と新規性にどのように影響するか？
• RQ3 モデルは、直接的な視覚的ヒントを超えて、世界知識を必要とする推論的質問をどれほど生成できるか？
• RQ4 文法的流暢さと多様性の両面で、既存のベースラインモデルと比較して、モデルのパフォーマンスはどの程度か？
• RQ5 モデルが誤認識されたまたは共起する視覚的パターンに基づいて質問を生成する際、どのような失敗モードが生じるか？

主な発見

• Bingデータセットでは、1枚の画像あたり平均63.83個のユニークな質問が生成され、そのうち36.92%が訓練データに存在しなかった。
• COCOデータセットでは、1枚あたり平均46.10個のユニークな質問が生成され、そのうち26.99%が訓練データに存在しなかった。
• VQG-COCOでのコーパス-BLEUスコアは0.192を達成し、文法的流暢さにおいて最良のベースラインモデルと同等の性能を示した。
• VQG-COCOにおけるコーパス-METEORスコアは0.197に達し、コーパスレベルで人間の判断と強い整合性を示した。
• 潜在空間で均一分布U(−20,20)からのサンプリングは、標準正規分布からのサンプリングと比較して、多様性の向上に顕著な効果を示した。
• 失敗事例には、認識エラー（例：飛行機を複数の飛行機と誤認識）や共起バイアス（例：緑の野菜がない食品画像でも緑の野菜に関する質問を生成）が含まれた。