[論文レビュー] Text is NOT Enough: Integrating Visual Impressions into Open-domain Dialogue Generation

Lei Shen, Haolan Zhan+3 more|arXiv (Cornell University)|Sep 13, 2021

Multimodal Machine Learning Applications参考文献 66被引用数 4

ひとこと要約

本稿では、テキストのみのオープンドメイン対話データから視覚的印象（VIs）を構築することで応答生成を向上させる二段階フレームワーク、VisADを提案する。事前学習済みの単語-画像マッピングモデルを用いて、投稿および応答の視覚的印象（PVIs および RVIs）を生成し、共注意力エンコーダーとキャスケードデコーダーを介して統合することで、対話理解と応答品質が向上し、DailyDialogおよびPersonaChatで最先端の性能を達成する。

ABSTRACT

Open-domain dialogue generation in natural language processing (NLP) is by default a pure-language task, which aims to satisfy human need for daily communication on open-ended topics by producing related and informative responses. In this paper, we point out that hidden images, named as visual impressions (VIs), can be explored from the text-only data to enhance dialogue understanding and help generate better responses. Besides, the semantic dependency between an dialogue post and its response is complicated, e.g., few word alignments and some topic transitions. Therefore, the visual impressions of them are not shared, and it is more reasonable to integrate the response visual impressions (RVIs) into the decoder, rather than the post visual impressions (PVIs). However, both the response and its RVIs are not given directly in the test process. To handle the above issues, we propose a framework to explicitly construct VIs based on pure-language dialogue datasets and utilize them for better dialogue understanding and generation. Specifically, we obtain a group of images (PVIs) for each post based on a pre-trained word-image mapping model. These PVIs are used in a co-attention encoder to get a post representation with both visual and textual information. Since the RVIs are not provided directly during testing, we design a cascade decoder that consists of two sub-decoders. The first sub-decoder predicts the content words in response, and applies the word-image mapping model to get those RVIs. Then, the second sub-decoder generates the response based on the post and RVIs. Experimental results on two open-domain dialogue datasets show that our proposed approach achieves superior performance over competitive baselines.

研究の動機と目的

• 純粋なテキスト対話生成の限界を、テキストのみのデータから暗黙的に埋め込まれた視覚的印象（VIs）を組み込むことで是正すること。
• 対話の投稿と応答の間の意味的非対称性を、投稿の視覚的印象（PVIs）と応答の視覚的印象（RVIs）を区別することでモデル化すること。
• テスト段階でRVIsが利用できない状況においても、効果的な視覚拡張型応答生成を可能にすること。
• アノテート済みの画像-対話ペairを必要としない、VIsの構築とそれらの対話生成への統合を可能にする二段階フレームワークの開発すること。

提案手法

• Flickr30Kで学習された単語-画像マッピングモデルを用い、対話の投稿に含まれる内容語に対応する画像を検索する。
• 投稿から内容語（意味的に意味のある語）を抽出し、画像検索により投稿の視覚的印象（PVIs）を生成する。
• 共注意力エンコーダーがPVIsからのテキスト的および視覚的特徴を統合し、より豊かな投稿表現を生成する。
• キャスケードデコーダーを設計：最初のサブデコーダーが応答内の内容語を予測し、それらを用いて単語-画像モデルにより応答の視覚的印象（RVIs）を生成する。
• 2番目のサブデコーダーが、投稿表現と予測されたRVIsを条件として最終的な応答を生成する。
• 応答生成損失と内容語予測損失の組み合わせを用いて、エンド・ツー・エンドでフレームワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 テキストのみの対話データに暗黙的に埋め込まれた視覚的印象（VIs）は、効果的に構築され、対話生成の向上に活用できるか？
• RQ2 エンコーダーにPVIsを統合するのではなく、デコーダーにRVIsを統合する方がより効果的か？
• RQ3 内容語予測と画像検索を組み合わせたキャスケードデコーダー構造は、標準的なシーケンス・トゥ・シーケンスモデルと比較して、応答品質をどのように向上させるか？
• RQ4 構築された視覚的印象は、オープンドメイン対話において応答の多様性と関連性をどの程度向上させるか？

主な発見

• VisADは、DailyDialogおよびPersonaChatの両方で最先端の性能を達成し、自動評価および人的評価の両方の指標で競合するベースラインを上回った。
• DailyDialogでは内容語予測精度（PreAcc）が0.389、PersonaChatでは0.326に達し、正解内容語との中程度の一致を示した。
• DailyDialogでは予測内容語の平均数が2.66、PersonaChatでは2.89であり、それぞれ正解平均（3.10および3.45）に近く、良好な一致を示した。
• 事例研究では、モデルがPVIsを投稿理解に、RVIsを応答生成に効果的に活用しており、より文脈に即した多様な応答を生成していることが示された。
• アノテート済みの画像-単語ペアがなくても、単語-画像マッピングモデルが内容語に対して関連する画像を効果的に検索でき、強いゼロショット一般化性能を示した。
• 可視化結果から、上位1位の検索画像（特にトップ1）が意図された視覚的印象と意味的に整合していることが確認されたが、弱い監視信号の影響で一部の誤一致も観察された。