[논문 리뷰] Zero-Resource Knowledge-Grounded Dialogue Generation

Linxiao Li, Can Xu외 4명|arXiv (Cornell University)|2020. 08. 29.

Topic Modeling참고 문헌 76인용 수 50

한 줄 요약

논문은 ZRKGC를 제로 리소스, 변분식 이중 잠재 잠금 모델로 제시하며, 검색 기반 잠재 지식과 grounding 비율을 사용해 외부 지식으로 대화를 근거화하고 crowd-sourced 지식-근거 훈련 없이도 경쟁적인 결과를 달성한다.

ABSTRACT

While neural conversation models have shown great potentials towards generating informative and engaging responses via introducing external knowledge, learning such a model often requires knowledge-grounded dialogues that are difficult to obtain. To overcome the data challenge and reduce the cost of building a knowledge-grounded dialogue system, we explore the problem under a zero-resource setting by assuming no context-knowledge-response triples are needed for training. To this end, we propose representing the knowledge that bridges a context and a response and the way that the knowledge is expressed as latent variables, and devise a variational approach that can effectively estimate a generation model from a dialogue corpus and a knowledge corpus that are independent with each other. Evaluation results on three benchmarks of knowledge-grounded dialogue generation indicate that our model can achieve comparable performance with state-of-the-art methods that rely on knowledge-grounded dialogues for training, and exhibits a good generalization ability over different topics and different datasets.

연구 동기 및 목표

• 학습을 위한 컨텍스트-지식-응답 삼중항(triples) 없이도 지식-근거 대화를 촉진한다.
• 맥락(context)과 응답을 연결하기 위한 이중 잠재 변수 프레임워크(잠재 지식 Zk 및 grounding 비율 Za)를 도입한다.
• 효율적 학습을 가능하게 하는 Zk에 대한 검색 기반 후방 분포를 사용하는 변분 학습 접근법을 개발한다.
• 지식 선택 및 상호 정보 손실을 포함시켜 grounding 표현력 및 안정성을 향상시킨다.
• 세 가지 벤치마크에서 주제와 데이터셋 간의 일반화 성능을 입증한다.

제안 방법

• 확률적 프레임워크에서 두 개의 잠재 변수 Zk(지식)와 Za(그라운딩 비율)로 p(R|C,K)를 형식화한다.
• 관련성 모델로 검색된 상위 k 개의 지식 후보에서 선택하는 q(Zk|C,R)와 같은 검색 기반 포스터리어를 사용한다.
• 백본 생성은 p(R|C,Zk,Za)를 모델링하기 위해 UNILM을 사용한다.
• 모델 용량 하에서 입력 크기를 제약하기 위한 지식 선택 모델을 도입한다.
• Za가 지식 표현을 포착하도록 장려하는 상호 정보 손실을 포함한다.
• 일반화 EM(GE-M)으로 최적화하고(q와 함께 E-step, p와 함께 M-step) differentiable 토큰 샘플링을 위한 Gumbel-softmax를 사용한다.

실험 결과

연구 질문

• RQ1 제로 리소스 설정에서 컨텍스트-지식-응답 훈련 삼중항 없이도 지식-근거 대화를 학습할 수 있는가?
• RQ2 지식 그라운딩과 그라운딩 비율의 이중 잠재 변수 모델이 생성 품질과 지식 활용 제어에 도움이 되는가?
• RQ3 이 작업에서 검색 기반 포스터리어 학습은 완전 생성 포스터리어와 비교하여 얼마나 잘 수행되는가?
• RQ4 지식 선택과 상호 정보 손실이 성능 및 grounding 제어 가능성에 어떤 영향을 미치는가?
• RQ5 ZRKGC가 주제 및 데이터셋 간 일반화 능력이 최신 방법과 비교해 어떠한가?

주요 결과

모델	Wizard Seen PPL	Wizard Seen F1	Wizard Unseen PPL	Wizard Unseen F1	Topical Freq PPL	Topical F1	Topical Rare PPL	Topical Rare F1	CMU_DoG PPL	CMU_DoG F1
MTASK-RF	65.4	13.1	67.7	12.3	51.3	12.6	51.6	12.5	67.2	10.5
TMN	66.5	15.9	103.6	14.3	30.3	16.5	52.1	14.6	75.2	9.9
ITDD	17.8	16.2	44.8	11.4	21.4	15.8	24.7	14.0	26.0	10.4
SKT	52.0	19.3	81.4	16.1	25.1	17.0	35.6	14.8	41.9	9.6
DRD	19.4	19.3	23.0	17.9	25.9	14.8	28.0	15.1	54.4	10.7
ZRKGC	40.4	18.7	41.5	18.6	44.2	16.6	42.0	16.8	53.5	12.5

• ZRKGC는 Wizard Seen, Wizard Unseen, Topical-Freq, Topical-Rare, 및 CMU_DoG 벤치마크에서 경쟁력 있는 F1 점수를 달성하며, 여러 베이스라인과 비교해 우수하거나 동등한 성능을 보인다.
• ZRKGC는_seen 주제와 unseen 주제 간의 성능 저하가 작아 강력한 일반화 성능을 보인다.
• 검색-포스터리어 학습은 ablations에서 생성 포스터리어 변형보다 더 타이트한 ELBO와 더 나은 F1를 제공한다.
• 지식 선택 및 상호 정보 손실은 grounding 표현의 제어력과 안정성에 기여한다.
• 사람 판단에서 ZRKGC가 경쟁적 베 baseline보다 더 유창하고 일관된 응답을 생성하는 것으로 나타났으나, 지식 통합은 여전히 도전적이다.