[論文レビュー] Zero-Resource Knowledge-Grounded Dialogue Generation

Linxiao Li, Can Xu+4 more|arXiv (Cornell University)|Aug 29, 2020

Topic Modeling参考文献 76被引用数 50

ひとこと要約

本論文は、retrieval-based latent knowledge と grounding rate を用いて外部知識と対話を grounding する、ゼロリソースの variational 双潜在モデル ZRKGC を提案し、 crowdsourced knowledge-grounded training を用いずして競争力のある結果を達成する。

ABSTRACT

While neural conversation models have shown great potentials towards generating informative and engaging responses via introducing external knowledge, learning such a model often requires knowledge-grounded dialogues that are difficult to obtain. To overcome the data challenge and reduce the cost of building a knowledge-grounded dialogue system, we explore the problem under a zero-resource setting by assuming no context-knowledge-response triples are needed for training. To this end, we propose representing the knowledge that bridges a context and a response and the way that the knowledge is expressed as latent variables, and devise a variational approach that can effectively estimate a generation model from a dialogue corpus and a knowledge corpus that are independent with each other. Evaluation results on three benchmarks of knowledge-grounded dialogue generation indicate that our model can achieve comparable performance with state-of-the-art methods that rely on knowledge-grounded dialogues for training, and exhibits a good generalization ability over different topics and different datasets.

研究の動機と目的

• トレーニングのための context-knowledge-response triples を必要とせず、知識 grounding 対話生成を動機付ける。
• 文脈と応答を brid ge するダブル潜在変数フレームワーク（潜在知識 Zk と grounding rate Za）を導入する。
• 効率的な訓練を可能にする retrieval-based posterior を持つ variational 学習アプローチを Zk に対して開発する。
• 知識選択と mutual information ロスを組み込み、 grounding 表現力と安定性を向上させる。
• 三つのベンチマークでトピックとデータセットを跨いだ一般化を示す。

提案手法

• 確率的枠組みで p(R|C,K) を、知識 Zk と grounding rate Za の二つの潜在変数で定式化する。
• 関連度モデルによって取得された top-l 知識候補から選択する retrieval-based posterior q(Zk|C,R) を用いる。
• backbone 生成は UNILM を用いて p(R|C,Zk,Za) をモデル化する。
• 入力サイズをモデル容量の範囲内に制約する知識選択モデルを導入する。
• Za が知識表現を捉えるように促す mutual information ロスを組み込む。
• Generalized EM（Eステップは q、Mステップは p を用いる）で最適化し、分離可能なトークンサンプリングのために Gumbel-softmax を使用する。

実験結果

リサーチクエスチョン

• RQ1 context-knowledge-response トリプルを用意せず、ゼロリソース設定で知識 grounded 対話生成を学習できるか？
• RQ2 知識 grounding と grounding rate というダブル潜在変数モデルは、生成品質と知識の使用制御を改善するか？
• RQ3 retrieval-based posterior 学習は、このタスクにおける完全生成的後方（posterior）と比較してどの程度性能が良いか？
• RQ4 知識選択と mutual information ロスは、性能と grounding の制御性にどのような影響を与えるか？
• RQ5 ZRKGC はトピックとデータセットを跨いで、最先端手法と比べてどの程度一般化するか？

主な発見

モデル	Wizard Seen PPL	Wizard Seen F1	Wizard Unseen PPL	Wizard Unseen F1	Topical Freq PPL	Topical F1	Topical Rare PPL	Topical Rare F1	CMU_DoG PPL	CMU_DoG F1
MTASK-RF	65.4	13.1	67.7	12.3	51.3	12.6	51.6	12.5	67.2	10.5
TMN	66.5	15.9	103.6	14.3	30.3	16.5	52.1	14.6	75.2	9.9
ITDD	17.8	16.2	44.8	11.4	21.4	15.8	24.7	14.0	26.0	10.4
SKT	52.0	19.3	81.4	16.1	25.1	17.0	35.6	14.8	41.9	9.6
DRD	19.4	19.3	23.0	17.9	25.9	14.8	28.0	15.1	54.4	10.7
ZRKGC	40.4	18.7	41.5	18.6	44.2	16.6	42.0	16.8	53.5	12.5

• ZRKGC は Wizard Seen、Wizard Unseen、Topical-Freq、Topical-Rare、CMU_DoG のベンチマークで競争力のある F1 スコアを達成し、いくつかのベースラインと同等またはそれ以上である。
• ZRKGC は seen topic と unseen topic の間で性能低下が小さく、強い generalization を示す。
• ablations において、 retrieval-posterior 学習は generative posterior variants よりも tight ELBO と良い F1 を実現する。
• 知識選択と mutual information ロスは、 grounding 表現の controllability と安定性に寄与する。
• 人間の評価では、ZRKGC は競合ベースラインよりも流暢で一貫した応答を生成するが、知識統合は依然課題である。