[論文レビュー] Multimodal Dialogue Response Generation

Qing‐Feng Sun, Yujing Wang+8 more|arXiv (Cornell University)|Oct 16, 2021

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、テキストと画像生成のコンponentを分離することで、大規模なテキスト専用データおよびテキスト-画像ペairedデータを活用できる、低リソースなマルチモodal対話応答生成モデルであるDivterを提案する。多様なオープンドメインデータで事前学習し、少数のマルチモーダル例で微調整することで、自動評価および人的評価の両方で最先端の性能を達成し、対話文脈に基づいた一貫性があり高解像度の画像応答を生成する。

ABSTRACT

Responsing with image has been recognized as an important capability for an intelligent conversational agent. Yet existing works only focus on exploring the multimodal dialogue models which depend on retrieval-based methods, but neglecting generation methods. To fill in the gaps, we first present a multimodal dialogue generation model, which takes the dialogue history as input, then generates a textual sequence or an image as response. Learning such a model often requires multimodal dialogues containing both texts and images which are difficult to obtain. Motivated by the challenge in practice, we consider multimodal dialogue generation under a natural assumption that only limited training examples are available. In such a low-resource setting, we devise a novel conversational agent, Divter, in order to isolate parameters that depend on multimodal dialogues from the entire generation model. By this means, the major part of the model can be learned from a large number of text-only dialogues and text-image pairs respectively, then the whole parameters can be well fitted using the limited training examples. Extensive experiments demonstrate our method achieves state-of-the-art results in both automatic and human evaluation, and can generate informative text and high-resolution image responses.

研究の動機と目的

• マルチモーダル対話応答生成において、特に低リソースな状況下で生成ベースのアプローチが不足しているという問題に取り組むこと。
• テキストと画像を併せ持つマルチモーダル対話データの収集におけるデータ不足の課題を克服すること。
• オープンドメインの会話において、テキストおよび高品質で文脈に根ざした画像を応答として生成できるモデルを開発すること。
• 固定された画像リポジトリに制限されるリtrievalベースの手法の限界を越え、ドメイン外または長尾トピックにおいても一般化性能を向上させること。

提案手法

• Divterは二段階のアーキテクチャを採用する：テキスト専用の対話応答生成器と、テキストから画像を生成する翻訳器で構成され、両者ともTransformerエンコーダーとデコーダーに基づく。
• テキスト応答生成器は、対話履歴を条件として、画像記述を含む応答系列を生成する。
• テキストから画像への変換器は、VAEベースの画像生成器を用いて、生成された画像記述から高解像度で現実的な画像を生成する。
• モデルは、大規模なテキスト専用対話データ（例：DialoGPT）および<画像記述, 画像>ペア（例：COCO）で別々に事前学習し、少数のマルチモーダル対話例でエンドツーエンドで微調整する。
• パラメータの分離により、マルチモーダル固有のパラメータが分離され、モデルの大部分がマルチモーダルでないデータで学習可能になる。
• 微調整段階での共同学習により、文脈と視覚的出力の整合性が向上し、一貫性と関連性が向上する。

実験結果

リサーチクエスチョン

• RQ1 低リソースな状況下で、生成ベースのアプローチがリtrievalベースの手法を上回ることができるか？
• RQ2 少数のマルチモーダル対話例しか利用できない状況で、モデルがテキストおよび画像応答を効果的に生成するにはどうすればよいか？
• RQ3 大規模なテキスト専用および画像-テキストデータで事前学習することで、低リソースなマルチモーダル対話生成にどのような影響を与えるか？
• RQ4 テキスト生成コンポーネントと画像生成コンポーネントの相対的な貢献度は、全体の応答品質および一貫性にどのように影響するか？

主な発見

• 自動評価指標において、Divterはリtrievalベースのベースラインおよび強力な生成ベースのベースライン（例：S2S-TF）を上回り、最先端の性能を達成した。
• 人的評価では、特にマルチモーダル応答品質において、ベースラインを著しく上回り、応答の関連性、情報量、会話体験の質が優れていることが示された。
• 定性的な事例研究により、文脈に一貫性があり、高解像度で現実的な画像が生成されていることが確認された。
• 除去実験により、テキスト専用および画像-テキストデータでの事前学習が、特に訓練データが限られる状況で性能に不可欠であることが確認された。
• テキストと画像生成の共同学習は、個別に学習する場合よりも、より良い整合性と一貫性をもたらすことがわかった。
• リtrievalベースのモデルに比べ、Divterは一般化性能に優れており、長尾トピックやドメイン外のトピックにおいて、誤ったまたは一貫性のない画像のリtrievalを回避できた。