[논문 리뷰] Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue

Byeongchang Kim, Jae-Woo Ahn외 1명|arXiv (Cornell University)|2020. 02. 18.

Topic Modeling참고 문헌 44인용 수 111

한 줄 요약

Sequential Knowledge Transformer(SKT)를 소개합니다. 다-turn 지식-근거 대화에서 지식 선택을 위한 순차 잠재 변수 모델로서, Wizard of Wikipedia 및 Holl-E에서 최첨단 성능을 달성합니다.

ABSTRACT

Knowledge-grounded dialogue is a task of generating an informative response based on both discourse context and external knowledge. As we focus on better modeling the knowledge selection in the multi-turn knowledge-grounded dialogue, we propose a sequential latent variable model as the first approach to this matter. The model named sequential knowledge transformer (SKT) can keep track of the prior and posterior distribution over knowledge; as a result, it can not only reduce the ambiguity caused from the diversity in knowledge selection of conversation but also better leverage the response information for proper choice of knowledge. Our experimental results show that the proposed model improves the knowledge selection accuracy and subsequently the performance of utterance generation. We achieve the new state-of-the-art performance on Wizard of Wikipedia (Dinan et al., 2019) as one of the most large-scale and challenging benchmarks. We further validate the effectiveness of our model over existing conversation methods in another knowledge-based dialogue Holl-E dataset (Moghe et al., 2018).

연구 동기 및 목표

• 다중 턴 지식-근거 대화에서 더 나은 지식 선택의 동기를 부여한다.
• 턴 간의 선행 지식과 후행 지식을 추적하기 위한 순차 잠재 변수 모델을 개발한다.
• 지식 선택과 응답 생성을 공동 추론할 수 있도록 한다.
• 응답 정보를 활용해 지식 선택 정확도를 향상시킨다.
• 대규모 벤치마크에서 지식 선택 및 응답 품질의 향상을 시연한다.

제안 방법

• Sequential Knowledge Transformer(SKT)와 순차 잠재 변수 프레임워크를 제안한다.
• 잠재 변수를 활용해 다양성을 포착하는 순차 결정 프로세스로 지식 선택을 모델링한다.
• 지식 선택과 응답 생성을 공동으로 모델링하기 위해 변분 하한(Eq. 2–3)을 사용한다.
• GRU 기반 이력으로 지식에 대한 사전 분포와 후분포를 사용해 pi_theta와 q_phi(Eqs. 5–8)를 계산한다.
• 선택된 지식을 조건으로 한 복사 메커니즘(트랜스포머 디코더)으로 응답을 디코딩한다(Eq. 9–11).
• 실제 지식 신호를 활용하기 위한 보조 지식 손실로 학습한다(Eq. 12).

실험 결과

연구 질문

• RQ1 순차 잠재 변수가 다-turn 대화에서 지식 선택을 어떻게 개선할 수 있는가?
• RQ2 지식 선택과 응답 생성을 공동 모델링하는 것이 대화 품질 및 접지(grounding)를 향상시키는가?
• RQ3 모델이 대규모 지식-근거 대화 벤치마크에서 최첨단 성능을 달성할 수 있는가?
• RQ4 Wizard of Wikipedia를 넘어 다른 데이터셋에 이 접근법이 일반화되는가?

주요 결과

방법	PPL (Test Seen)	R-1 (Test Seen)	R-2 (Test Seen)	Acc (Test Seen)	PPL (Test Unseen)	R-1 (Test Unseen)	R-2 (Test Unseen)	Acc (Test Unseen)
Random knowledge selection	-	8.4	1.4	2.7	-	8.0	1.2	2.3
Repeat last utterance	-	14.5	3.1	-	-	14.1	2.9	-
Transformer (no knowledge)† (Dinan et al., 2019)	41.8	17.8	-	-	87.0	14.0	-	-
E2E Transformer MemNet† (Dinan et al., 2019)	63.5	16.9	-	22.5	97.3	14.4	-	12.2
E2E Transformer MemNet (BERT vocab)‡	53.2	17.7	4.8	23.2	137.8	13.6	1.9	10.5
PostKS ∗ (Lian et al., 2019 )	79.1	13.0	1.0	4.8	193.8	13.1	1.0	4.2
E2E BERT	53.5	16.8	4.5	23.7	105.7	13.5	2.2	13.6
PostKS + Knowledge Loss	54.5	18.1	5.3	23.4	144.8	13.5	2.0	9.4
E2E BERT + PostKS	54.6	17.8	5.3	25.5	113.2	13.4	2.3	14.1
E2E BERT + PostKS + Copy	52.2	19.0	6.5	25.5	83.4	15.6	3.9	14.4
Ours	52.0	19.3	6.8	26.8	81.4	16.1	4.2	18.3

• Wizard of Wikipedia에서 지식 선택 정확도와 발화 생성에서 최첨단 성능을 달성한다.
• Test Seen과 Test Unseen 모두에서 베이스라인을 능가하며, 특히 보이지 않는 주제에서 더 큰 이점을 보인다.
• single 및 multiple reference 설정에서 Holl-E에서도 강력한 성능을 시연한다.
• 인간 평가에서 SKT가 베이스라인보다 몰입도와 지식성 측면에서 우수하며, 특히 보이지 않는 주제에서 두드러진다.
• 순차 잠재적 접근은 주제 변화와 대 턴에 걸친 지식 grounding을 더 잘 포착한다.