[論文レビュー] Image-Grounded Conversations: Multimodal Context for Natural Question and Response Generation

Nasrin Mostafazadeh, Chris Brockett+5 more|arXiv (Cornell University)|Jan 28, 2017

Multimodal Machine Learning Applications参考文献 38被引用数 117

ひとこと要約

この論文は Image-Grounded Conversations (IGC) タスクを導入し、IGCCrowd データセットを提示し、視覚情報とテキスト文脈を用いて画像について質問と回答を生成するマルチモーダル生成・検索モデルを評価し、ベースラインより改善を示すが人間の性能にはまだ差がある。

ABSTRACT

The popularity of image sharing on social media and the engagement it creates between users reflects the important role that visual context plays in everyday conversations. We present a novel task, Image-Grounded Conversations (IGC), in which natural-sounding conversations are generated about a shared image. To benchmark progress, we introduce a new multiple-reference dataset of crowd-sourced, event-centric conversations on images. IGC falls on the continuum between chit-chat and goal-directed conversation models, where visual grounding constrains the topic of conversation to event-driven utterances. Experiments with models trained on social media data show that the combination of visual and textual context enhances the quality of generated conversational turns. In human evaluation, the gap between human performance and that of both neural and retrieval architectures suggests that multi-modal IGC presents an interesting challenge for dialogue research.

研究の動機と目的

• 会話が画像コンテキストと添付テキストの両方に基づくマルチモーダル対話タスクを動機づける。
• IGCCrowdとして、IGCをベンチマークするためのクラウドソーシング型のイベント中心データセットを提供する。
• IGCにおけるQ&Aと回答のために視覚的およびテキスト的文脈を活用するニューラル生成および検索アプローチを調査する。
• マルチモーダル文脈が生成された質問と回答の質と特徴にどう影響するかを分析する。

提案手法

• IGCタスクを2段階で定義する：画像Iとテキスト文脈Tからの質問生成、I, T, Qからの回答生成。
• IGCCrowdおよびIGCTwitterデータセットを作成して訓練と評価に用いる；IGCCrowdはイベント中心の画像を含む4,222件のマルチターン対話を提供する。
• 視覚特徴（VGG fc7）とテキスト文脈を融合する生成モデルを実装する：V-Gen、T-Gen、V&T-Gen（BOWまたはRNNのテキスト表現を伴う）。
• 視覚コンテキストのみ（V-Ret）または視覚＋テキスト文脈（V&T-Ret）を用いた検索モデルを実装する。
• 再ランキングのためのスコアリング関数を介して、長さ、多様性、視覚に基づくペナルティを組み合わせたp(h|C)をデコード時にビームサーチで使用する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル（画像+テキスト）文脈は、画像を基にした対話における自然な質問と回答の生成を改善できるか？
• RQ2 視覚と言語に基づいて生成と検索アプローチはQとRのタスクでどのように比較されるか？
• RQ3 IGCとその課題について、イベント中心のグラウンディング、フレーム、CaTeRS関係といったデータセットの特徴は何を示すか？
• RQ4 IGC設定において、人間の判断は自動的メトリクス（BLEU）とどの程度乖離するか？

主な発見

• マルチモーダル文脈は、人間の評価で生成された質問と回答の品質を単一モーダルのベースラインと比較して向上させる。
• マルチリファレンスBLEUでは、Visual&Textual (V&T) モデルが他のモデルを上回るが、イベント中心の訓練データの恩恵を受ける高品質なVisual Question Generation (VQG) ベースラインには及ばない。
• 人間の審査者は一貫して再ランキング後よりもトップの生成仮説を好む。安全性/汎用性と内容の豊かさのトレードオフを示している。
• BLEUスコアは出力の多様性のため一般に低いが、V&TモデルはVQGでないベースラインの中でテストセット全体で最良の自動評価を達成する。
• IGCCrowdは堅牢で挑戦的なベンチマークを提供し、マルチモーダル対話タスクにおける現モデルと人間の性能のギャップを明らかにする。