[논문 리뷰] Learning to Retrieve Entity-Aware Knowledge and Generate Responses with Copy Mechanism for Task-Oriented Dialogue Systems

Chao-Hong Tan, Xiaoyu Yang외 8명|arXiv (Cornell University)|2020. 12. 22.

Topic Modeling참고 문헌 30인용 수 4

한 줄 요약

이 논문은 사전 훈련된 언어 모델(ELECTRA 및 RoBERTa)을 활용하여 엔티티 인식 지식 검색과 응답 생성을 수행하는 작업 지향 대화 시스템을 제안한다. 복사 메커니즘을 도입하여 성능을 향상시켰으며, DSTC9 트랙 1 벤치마크에서 자동 평가 지표에서 2위, 인간 평가에서 4위를 기록하여 잠재 변수 모델링과 후처리 전략을 통해 지식 기반 성능과 응답 유창성을 향상시켰다.

ABSTRACT

Task-oriented conversational modeling with unstructured knowledge access, as track 1 of the 9th Dialogue System Technology Challenges (DSTC 9), requests to build a system to generate response given dialogue history and knowledge access. This challenge can be separated into three subtasks, (1) knowledge-seeking turn detection, (2) knowledge selection, and (3) knowledge-grounded response generation. We use pre-trained language models, ELECTRA and RoBERTa, as our base encoder for different subtasks. For subtask 1 and 2, the coarse-grained information like domain and entity are used to enhance knowledge usage. For subtask 3, we use a latent variable to encode dialog history and selected knowledge better and generate responses combined with copy mechanism. Meanwhile, some useful post-processing strategies are performed on the model's final output to make further knowledge usage in the generation task. As shown in released evaluation results, our proposed system ranks second under objective metrics and ranks fourth under human metrics.

연구 동기 및 목표

• 비정형 지식 접근이 필요한 작업 지향 대화 시스템의 과제를 해결하기 위해 기존 API나 데이터베이스만으로는 부족한 상황을 대비한다.
• FAQ 및 리뷰와 같은 비정형 소스에서 검색한 관련 지식 스니펫을 통합하여 응답 생성을 향상시킨다.
• 도메인 및 엔티티 정보를 입력 표현에 통합하여 도메인 외부 또는 미리보지 않은 엔티티에 대한 모델 일반화 능력을 향상시킨다.
• 시퀀스에서 시퀀스 모델링과 지식 복사 메커니즘, 잠재 변수 인코딩을 조합하여 더 정확하고 자연스러운 응답을 생성한다.
• 자동 평가 및 인간 평가 점수를 모두 향상시키기 위해 후처리 전략을 통해 모델 출력을 최적화한다.

제안 방법

• 대화 기록에 도메인 및 엔티티 레이블을 추가하여 미세튜닝한 ELECTRA를 지식 탐색 전환 탐지용 기본 인코더로 사용한다.
• 대화 컨텍스트를 기반으로 대화 기록에서 가장 관련성이 높은 지식 스니펫을 선택하기 위해 RoBERTa를 활용한 검색-정렬 파이프라인을 구현한다.
• 대화 기록과 선택된 지식을 함께 인코딩하는 잠재 변수 모델을 적용하여 응답 생성을 위한 더 나은 컨텍스트 표현을 가능하게 한다.
• 디코더에 복사 메커니즘을 통합하여 지식 콘텐츠를 응답에 직접 복사할 수 있도록 하여 사실적 일관성을 향상시킨다.
• 다양하고 고품질의 응답을 생성하기 위해 빔 서치를 사용하는 두 단계 디코딩 전략(SRG 및 FFBS)을 적용한다.
• 모델 출력을 개선하기 위해 후처리 기법을 적용하여 지식 활용도와 인간 평가 점수를 향상시킨다.

실험 결과

연구 질문

• RQ1 ELECTRA 및 RoBERTa와 같은 사전 훈련된 언어 모델이 작업 지향 대화에서 지식 탐색 전환을 효과적으로 탐지할 수 있는가?
• RQ2 도메인 및 엔티티 정보를 통합할 경우 제로샷 또는 피셔샷 설정에서 지식 선택 성능이 어떻게 향상되는가?
• RQ3 잠재 변수 표현이 대화 기록, 지식, 생성된 응답 간의 정렬을 얼마나 향상시키는가?
• RQ4 복사 메커니즘이 비정형 소스에서 추출한 사실적 지식을 생성된 응답에 얼마나 효과적으로 유지하는가?
• RQ5 후처리 전략은 자동 평가 지표를 떨어뜨리지 않고도 응답 품질을 향상시킬 수 있는가?

주요 결과

• 제안된 시스템은 DSTC9 트랙 1 테스트 세트에서 자동 평가 지표에서 2위, 인간 평가에서 4위를 기록했다.
• 지식 인식 ELECTRA 모델은 지식 탐색 전환 탐지에서 원본 ELECTRA 대비 F1 점수를 2.6% 향상시켰다.
• 지식 복사 메커니즘은 베이스라인 생성 대비 BLEU-4 점수를 0.5% 향상시키고, METEOR는 1.6%, ROUGE-L은 1.2% 향상시켰다.
• 후처리 기법은 적절성과 정확성에 대한 인간 평가 점수를 향상시켰지만, 자동 평가 지표는 약간 감소시켰다.
• 데이터 증강은 특히 도메인 및 엔티티 예측에서 리콜@1을 향상시켜 도메인 외부 예측에 대한 일반화 능력을 향상시켰다.
• 앙상블 모델은 지식 선택에서 베이스라인 대비 큰 격차를 보였으며, mrr@5 및 recall@5 모두에서 상당한 향상이 있었다.