[論文レビュー] Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue

Byeongchang Kim, Jae-Woo Ahn+1 more|arXiv (Cornell University)|Feb 18, 2020

Topic Modeling参考文献 44被引用数 111

ひとこと要約

Sequential Knowledge Transformer (SKT) を導入した、マルチターン知識基盤対話における知識選択の逐次潜在変数モデル。Wizard of Wikipedia と Holl-E のデータセットで最新性能を達成。

ABSTRACT

Knowledge-grounded dialogue is a task of generating an informative response based on both discourse context and external knowledge. As we focus on better modeling the knowledge selection in the multi-turn knowledge-grounded dialogue, we propose a sequential latent variable model as the first approach to this matter. The model named sequential knowledge transformer (SKT) can keep track of the prior and posterior distribution over knowledge; as a result, it can not only reduce the ambiguity caused from the diversity in knowledge selection of conversation but also better leverage the response information for proper choice of knowledge. Our experimental results show that the proposed model improves the knowledge selection accuracy and subsequently the performance of utterance generation. We achieve the new state-of-the-art performance on Wizard of Wikipedia (Dinan et al., 2019) as one of the most large-scale and challenging benchmarks. We further validate the effectiveness of our model over existing conversation methods in another knowledge-based dialogue Holl-E dataset (Moghe et al., 2018).

研究の動機と目的

• マルチターン知識基盤対話における知識選択をより良くする動機づけ。
• ターン間での prior および posterior 知識を追跡する逐次潜在変数モデルの開発。
• 知識選択と応答生成の共同推論を可能にする。
• 応答情報を活用して知識選択の正確さを向上させる。
• 大規模なベンチマークで知識選択と応答品質の改善を示す。

提案手法

• Sequential Knowledge Transformer (SKT) を逐次潜在変数フレームワークと共に提案。
• 知識選択を多様性を捉える潜在変数を用いた逐次決定過程としてモデル化。
• 知識選択と応答生成を jointly model する変分下限を用いる（Eq. 2–3）。
• pi_theta および q_phi を計算する過去の履歴を GRU ベースで用いて、知識の prior および posterior 分布を利用（Eqs. 5–8）。
• 選択された知識を条件とするコピー機構付きデコーダ（Transformer デコーダ）で応答をデコード（Eq. 9–11）。
• Ground-truth 知識信号を活用する補助的な知識損失で訓練する（Eq. 12）。

実験結果

リサーチクエスチョン

• RQ1 逐次潜在変数はマルチターンダ dialogue での知識選択をどう改善するか？
• RQ2 知識選択と応答生成の共同モデリングは対話品質と grounding を高めるか？
• RQ3 このモデルは大規模な知識基盤対話ベンチマークで最先端を達成できるか？
• RQ4 Wizard of Wikipedia 以外のデータセットにもこのアプローチは一般化できるか？

主な発見

手法	PPL (Test Seen)	R-1 (Test Seen)	R-2 (Test Seen)	Acc (Test Seen)	PPL (Test Unseen)	R-1 (Test Unseen)	R-2 (Test Unseen)	Acc (Test Unseen)
Random knowledge selection	-	8.4	1.4	2.7	-	8.0	1.2	2.3
Repeat last utterance	-	14.5	3.1	-	-	14.1	2.9	-
Transformer (no knowledge)† (Dinan et al., 2019)	41.8	17.8	-	-	87.0	14.0	-	-
E2E Transformer MemNet† (Dinan et al., 2019)	63.5	16.9	-	22.5	97.3	14.4	-	12.2
E2E Transformer MemNet (BERT vocab)‡	53.2	17.7	4.8	23.2	137.8	13.6	1.9	10.5
PostKS ∗ (Lian et al., 2019 )	79.1	13.0	1.0	4.8	193.8	13.1	1.0	4.2
E2E BERT	53.5	16.8	4.5	23.7	105.7	13.5	2.2	13.6
PostKS + Knowledge Loss	54.5	18.1	5.3	23.4	144.8	13.5	2.0	9.4
E2E BERT + PostKS	54.6	17.8	5.3	25.5	113.2	13.4	2.3	14.1
E2E BERT + PostKS + Copy	52.2	19.0	6.5	25.5	83.4	15.6	3.9	14.4
Ours	52.0	19.3	6.8	26.8	81.4	16.1	4.2	18.3

• Wizard of Wikipedia で知識選択精度と utterance 生成の最先端を達成。
• Test Seen と Test Unseen の両方でベースラインを上回り、特に unseen トピックでより大きな改善を示す。
• Holl-E でも単一・複数リファレンス設定で強い性能を示す。
• ヒューマン評価では unseen トピックにおいても SKT がベースラインより対話的で知識豊富と評価される。
• 逐次的潜在アプローチはトピック変化と知識 grounding をターン間でよりよく捉える。