[論文レビュー] Multimodal Dialog Systems with Dual Knowledge-enhanced Generative Pretrained Language Model

Xiaolin Chen, Xuemeng Song+4 more|arXiv (Cornell University)|Jul 16, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、テキスト的および視覚的文脈を統合してテキスト応答生成を向上させる、マルチモーダルタスク指向対話システム向けの二重知識強化型生成事前学習言語モデル、DKMDを提案する。生成事前学習と両モダリティからの同時知識選択を活用することで、DKMDは文脈学習と応答生成を強化し、公開ベンチマークデータセットにおいて最先端の性能を達成した。

ABSTRACT

Text response generation for multimodal task-oriented dialog systems, which aims to generate the proper text response given the multimodal context, is an essential yet challenging task. Although existing efforts have achieved compelling success, they still suffer from two pivotal limitations: 1) overlook the benefit of generative pre-training, and 2) ignore the textual context related knowledge. To address these limitations, we propose a novel dual knowledge-enhanced generative pretrained language model for multimodal task-oriented dialog systems (DKMD), consisting of three key components: dual knowledge selection, dual knowledge-enhanced context learning, and knowledge-enhanced response generation. To be specific, the dual knowledge selection component aims to select the related knowledge according to both textual and visual modalities of the given context. Thereafter, the dual knowledge-enhanced context learning component targets seamlessly integrating the selected knowledge into the multimodal context learning from both global and local perspectives, where the cross-modal semantic relation is also explored. Moreover, the knowledge-enhanced response generation component comprises a revised BART decoder, where an additional dot-product knowledge-decoder attention sub-layer is introduced for explicitly utilizing the knowledge to advance the text response generation. Extensive experiments on a public dataset verify the superiority of the proposed DKMD over state-of-the-art competitors.

研究の動機と目的

• 既存のマルチモーダル対話システムが生成事前学習およびテキスト的文脈関連知識を無視するという限界を是正すること。
• テキスト的および視覚的文脈を統合して知識選択に活用することで、マルチモーダルタスク指向対話システムにおけるテキスト応答生成を向上させること。
• クロスモダリティアテンションを用いて視覚的およびテキスト的表現を共同で最適化することで、ユーザーの意図モデリングを強化すること。
• 生成事前学習とマルチモーダル知識インジェクションをシームレスに統合する統一フレームワークを構築すること。

提案手法

• 対話文脈のテキスト的および視覚的モダリティを用いて、知識ベースから関連する知識を取得する二重知識選択メカニズムを提案する。
• グローバルおよびローカルの視点からクロスモダリティアテンションを用いて、選択された知識をマルチモーダル文脈に統合する二重知識強化型文脈学習を導入する。
• 応答生成中に知識に明示的に注目できるように、追加のドット積知識デコーダー注意サブレイヤーを備えた改訂版BARTデコーダーを採用する。
• 各モダリティが互いの理解を強化する二重クロスモダリティ表現最適化により、視覚的およびテキスト的表現を精緻化する。
• BARTエンコーダー層のスタックを用い、知識統合が6番目の層で行われる際に最適な性能を示すことがアブレーションスタディで示された。
• テキスト的および視覚的入力を別々に処理する二重ストリームアーキテクチャを採用し、知識に配慮したアテンションで統合する。

実験結果

リサーチクエスチョン

• RQ1 生成事前学習は、マルチモーダルタスク指向対話システムにおけるテキスト応答生成を向上させ得るか？
• RQ2 テキスト的および視覚的文脈関連知識を統合することで、応答生成性能にどのような影響を与えるか？
• RQ3 BARTエンコーダー構造内において、知識強化表現を挿入する最適な位置はどこか？
• RQ4 視覚指向およびテキスト指向の表現最適化は、ユーザーの意図モデリングにどのように異なる貢献をしているか？
• RQ5 モダリティ間の意味的関係は存在するのか、そしてマルチモーダル対話システムで効果的に捉えられるか？

主な発見

• DKMDは公開ベンチマークデータセットで最先端の性能を達成し、既存のSOTA手法を上回る応答生成性能を示した。
• アブレーションスタディの結果、視覚指向の最適化を除いたDKMD-w/o-VRは、テキスト指向の最適化を除いたDKMD-w/o-TRより性能が低いことが判明し、視覚の最適化が性能向上により寄与していることが示された。
• 知識をBARTエンコーダーの12番目の層に挿入した場合、モデルの性能が最も悪くなることが確認され、後段の層への挿入が元のデータ分布を乱している可能性があることが示唆された。
• アテンション重みが画像に関連する意味的に関連するトークンに高い信頼度を割り当てたことから、モデルはクロスモダリティの意味的関係を効果的に捉えられていた。
• 感度分析により、知識の挿入が6番目のエンコーダー層で最適な性能を発揮することが確認され、1〜11層の範囲で安定した結果が得られた。
• 二重知識強化型文脈学習メカニズムは、テキスト的および視覚的文脈を共同で活用して知識の取得と統合を行うことで、ユーザーの意図モデリングを効果的に向上させた。