[論文レビュー] FlipDial: A Generative Model for Two-Way Visual Dialogue

Daniela Massiceti, N. Siddharth+2 more|arXiv (Cornell University)|Feb 11, 2018

Multimodal Machine Learning Applications参考文献 24被引用数 16

ひとこと要約

FlipDialは、画像とそのキャプションに基づいて、質問と回答を交互に生成する生成的で畳み込みニューラルネットワーク（CNN）に基づくモデルを提案する。このモデルは、一方通行の視覚的対話（1vd）タスクで最先端の性能を達成し、二方向対話（2vd）のための最初のベースラインを確立するとともに、質問の関連性と対話の潜在的多様性を評価する新しい指標を導入した。

ABSTRACT

We present FlipDial, a generative model for visual dialogue that simultaneously plays the role of both participants in a visually-grounded dialogue. Given context in the form of an image and an associated caption summarising the contents of the image, FlipDial learns both to answer questions and put forward questions, capable of generating entire sequences of dialogue (question-answer pairs) which are diverse and relevant to the image. To do this, FlipDial relies on a simple but surprisingly powerful idea: it uses convolutional neural networks (CNNs) to encode entire dialogues directly, implicitly capturing dialogue context, and conditional VAEs to learn the generative model. FlipDial outperforms the state-of-the-art model in the sequential answering task (one-way visual dialogue) on the VisDial dataset by 5 points in Mean Rank using the generated answers. We are the first to extend this paradigm to full two-way visual dialogue, where our model is capable of generating both questions and answers in sequence based on a visual input, for which we propose a set of novel evaluation measures and metrics.

研究の動機と目的

• 視覚的対話において、回答だけでなく質問を生成できる統合的生成モデルの開発、これまでは一方的で回答のみのモデルにとどまっていたことの進展。
• 実際の展開を模倣するため、テスト時に予測された対話履歴が使用される自己回帰的対話生成を可能にすること。
• 二方向視覚的対話のための新しい評価指標の提案と検証、このようなモデルに対する標準化されたベンチマークの欠如に対処すること。
• 畳み込みニューラルネットワーク（CNN）が対話の各ターン間の順序的依存関係をどのようにモデル化できるかを検討すること。
• 条件付き変分オートエンコーダ（cVAE）とCNNベースのシーケンス符号化を組み合わせることで、多様で文脈的に整合性があり意味的に整合性のある対話を生成できることを示すこと。

提案手法

• FlipDialは、画像、キャプション、対話履歴を条件として、視覚的対話の深層生成モデルを学習するため、条件付き変分オートエンコーダ（cVAE）フレームワークを用いる。
• 全対話シーケンスをテンソルとして符号化するために畳み込みニューラルネットワーク（CNN）を採用し、ターン間の長距離依存関係と文脈を暗黙的にモデル化する。
• 潜在変数上の条件付き事前分布からのサンプリングにより、自己回帰的に回答と質問を生成し、推論は学習データ上でアモアタイズド（近似）される。
• 二方向対話（2vd）では、1回のフォワードパス内で、画像、キャプション、および過去の対話履歴を条件として、質問と回答を交互に生成する。
• 2つの新しい評価指標を導入する：$\text{sim}_{\bm{c},\bm{q}}$ は生成された質問と画像キャプション間の意味的類似度を測定し、$\text{sim}_{\circlearrowleft}$ は生成された対話と正解対話の潜在空間におけるKLダイバージェンスを測定する。
• モデルは、テスト時に正解ではなく予測された対話履歴が使用される現実的な設定で訓練および評価され、実用的応用性が向上する。

実験結果

リサーチクエスチョン

• RQ1 1つの生成モデルが、視覚的に根拠づけられた対話において、一貫性と関連性を保ちながら、質問と回答を効果的に交互に生成できるか。
• RQ2 CNNベースのシーケンス符号化アプローチが、視覚的対話における対話ターン間の順序的依存関係をどの程度効果的にモデル化できるか。
• RQ3 自己回帰的モデリングを深くしていくことで、二方向視覚的対話における生成対話の多様性と品質がどの程度向上するか。
• RQ4 $\text{sim}_{\bm{c},\bm{q}}$ や $\text{sim}_{\circlearrowleft}$ のような新しい自動指標が、特に二方向設定において生成された視覚的対話の品質を信頼性高く評価できるか。
• RQ5 テスト時に正解ではなく予測された対話履歴を使用する場合、モデルの性能に悪影響を及えるか、それでも高品質な対話を生成できるか。

主な発見

• FlipDialは、生成された回答を用いてVisDial 1vdベンチマークで平均順位（Mean Rank）14.8を達成し、以前の最先端モデルより5ポイント優れた性能を示した。
• 本モデルは、従来の文献で統合的生成フレームワークが用意されていなかった二方向視覚的対話（2vd）タスクにおいて、新たな最先端ベースラインを確立した。
• 自己回帰層の数を8から10に増やすと、潜在対話分散指標 $\text{sim}_{\circlearrowleft}$ は31.50から44.34に上昇し、生成された対話の多様性が向上していることが示された。
• 質問関連性指標 $\text{sim}_{\bm{c},\bm{q}}$ は、モデル間で一貫した性能を示し、0.41〜0.49の値を示しており、生成された質問が画像キャプションと意味的に整合していることを示している。
• 繰り返し評価（予測履歴を使用）において、交差エントロピー損失は31.18（Bモデル）から24.93（B_AR10）に低下し、より深い自己回帰モデリングが現実的なテスト条件下で生成品質を向上させることを示した。
• 定性的な分析により、FlipDialは多様で一貫性があり、文脈的に関連性のある質問・回答ペアを生成していることが確認され、大多数の生成例で繰り返しや意味のない出力は見られなかった。