[논문 리뷰] A Knowledge-Grounded Dialog System Based on Pre-Trained Language Models

Weijie Zhang, Jiaoxuan Chen외 3명|arXiv (Cornell University)|2021. 06. 28.

Topic Modeling참고 문헌 17인용 수 4

한 줄 요약

이 논문은 T5 및 기타 미세조정된 사전 학습된 언어 모델을 사용하여 구조화되지 않은 지식 소스(예: FAQ)를 활용하는 작업 지향 대화 시스템을 제안한다. N-gram 및 편집 거리 기반 엔티티 필터링과 T5에 통합된 포인터 네트워크를 통해 응답 생성을 개선하였으며, DSTC9 트랙 1에서 자동 평가 및 인간 평가 모두 상위 10위 이내를 기록하여 모든 하위 작업에서 정확도와 효율성 향상을 달성하였다.

ABSTRACT

We present a knowledge-grounded dialog system developed for the ninth Dialog System Technology Challenge (DSTC9) Track 1 - Beyond Domain APIs: Task-oriented Conversational Modeling with Unstructured Knowledge Access. We leverage transfer learning with existing language models to accomplish the tasks in this challenge track. Specifically, we divided the task into four sub-tasks and fine-tuned several Transformer models on each of the sub-tasks. We made additional changes that yielded gains in both performance and efficiency, including the combination of the model with traditional entity-matching techniques, and the addition of a pointer network to the output layer of the language model.

연구 동기 및 목표

• 구조화된 데이터베이스를 초월하여 FAQ와 같은 비구조화된 지식 소스를 활용하여 질의에 답할 수 있는 작업 지향 대화 시스템을 개발하는 것.
• 사전 학습된 언어 모델을 활용하여 지식 탐색 전환 감지, 지식 선택, 응답 생성의 성능과 효율성을 향상시키는 것.
• N-gram 및 편집 거리와 같은 전통적 텍스트 매칭 기법과 신경망 모델을 조합하여 엔티티 필터링을 통해 계산 비용을 감소시키는 것.
• T5에 통합된 포인터 네트워크를 통해 입력 지식에서 토큰을 복사함으로써 응답 생성 품질을 향상시키는 것.
• 테스트 세트의 미사용 도메인과 엔티티에서의 일반화 능력을 평가하는 것.

제안 방법

• 지식 탐색 전환 감지, 지식 선택, 응답 생성의 세 하위 작업에 대해 T5, ELECTRA 및 기타 사전 학습된 언어 모델을 미세조정하였다.
• 신경망 추론 이전에 후보 엔티티 수를 줄이기 위해 N-gram 및 편집 거리 기반 필터링을 적용하여 효율성과 재현율을 향상시켰다.
• T5 디코더 상단에 포인터 네트워크를 통합하여 입력 지식에서 토큰을 복사함으로써 응답 생성 품질을 향상시켰다.
• 앙상블 학습과 임계값 튜닝($t_{\text{ktd}} = 0.25$)을 통해 미사용 데이터에서의 강인성과 일반화 능력을 향상시켰다.
• 학습에 교차 엔트로피 손실를 사용하였으며, 포칼 손실도 시험했지만 성능 향상이 미미하여 적용하지 않았다.
• 기본 모델과 동일한 파이프라인 아키텍처를 채택하였지만, 현대 NLP 기법을 활용하여 각 단계를 개선했다.

실험 결과

연구 질문

• RQ1 T5 및 ELECTRA와 같은 사전 학습된 언어 모델이 BERT, GPT-2와 같은 이전 모델보다 지식 기반 대화 작업에서 더 우수한 성능을 내는가?
• RQ2 신경망 모델과 전통적 텍스트 매칭 기법(N-gram, 편집 거리)을 조합하여 후보 공간을 줄이고 검색 정확도를 향상시키는 데 얼마나 효과적인가?
• RQ3 포인터 네트워크가 지식 기반 대화 시스템의 응답 생성 품질을 얼마나 향상시키는가?
• RQ4 모델 성능이 미사용 도메인과 엔티티에서 어떻게 저하되는가? 앙상블 방법이나 임계값 튜닝이 이를 완화할 수 있는가?
• RQ5 다른 손실 함수(교차 엔트로피 대비 포칼 손실)가 지식 선택 및 응답 생성에 미치는 영향은 무엇인가?

주요 결과

• T5 모델은 지식 탐색 전환 감지 작업에서 검증 데이터에서 99% 이상의 F1 스코어를 기록하여 본문 데이터에서 강력한 성능을 보였다.
• N-gram 및 편집 거리 기반 엔티티 필터링은 정답의 99.7% 이상을 유지하면서 후보 수를 극적으로 감소시켜 추론 효율성을 향상시켰다.
• T5-포인터 모델은 테스트 데이터에서 가장 높은 BLEU-4, METEOR 및 ROUGE-L 스코어를 기록했으며, ROUGE-L에서는 2위, BLEU-4에서는 24개 팀 중 7위를 기록하였다.
• 지식 선택 작업에서 T5 앙상블 모델은 24개 팀 중 9위를 기록하였으며, 미사용 테스트 데이터에서 ELECTRA 및 BERT 기반 모델보다 뛰어난 성능을 보였다.
• 강력한 검증 결과에도 불구하고, 테스트 데이터에서 성능 저하가 발생하였으며, 특히 미사용 도메인과 엔티티에서 두드러져 일반화 능력 향상의 필요성을 시사하였다.
• 자동 평가에서 4위, 인간 평가에서 12개 최종 참가 팀 중 10위를 기록하여 고품질이고 자연스러운 응답을 제공함을 입증하였다.