[논문 리뷰] A Neural Topical Expansion Framework for Unstructured Persona-oriented Dialogue Generation

Minghong Xu, Piji Li외 5명|arXiv (Cornell University)|2020. 02. 06.

Topic Modeling참고 문헌 32인용 수 15

한 줄 요약

이 논문은 신경 주제 확장 프레임워크인 퍼스나 탐색 및 활용(Persona Exploration and Exploitation, PEE)을 제안한다. 이 프레임워크는 변동형 오토인코더(Variational Auto-Encoder, VAE) 기반 주제 모델을 사용하여 짧고 사전 정의된 사용자 퍼스나를 의미적으로 관련된 내용으로 확장함으로써 비구조화된 퍼스나 중심 대화 시스템의 성능을 향상시킨다. 특수한 손실 함수를 통합하여 원본 및 확장된 퍼스나 정보를 모두 활용함으로써 응답 품질을 향상시키며, 자동 평가 및 인간 평가 모두에서 최신 기준 기반 모델들을 능가한다.

ABSTRACT

Unstructured Persona-oriented Dialogue Systems (UPDS) has been demonstrated effective in generating persona consistent responses by utilizing predefined natural language user persona descriptions (e.g., "I am a vegan"). However, the predefined user persona descriptions are usually short and limited to only a few descriptive words, which makes it hard to correlate them with the dialogues. As a result, existing methods either fail to use the persona description or use them improperly when generating persona consistent responses. To address this, we propose a neural topical expansion framework, namely Persona Exploration and Exploitation (PEE), which is able to extend the predefined user persona description with semantically correlated content before utilizing them to generate dialogue responses. PEE consists of two main modules: persona exploration and persona exploitation. The former learns to extend the predefined user persona description by mining and correlating with existing dialogue corpus using a variational auto-encoder (VAE) based topic model. The latter learns to generate persona consistent responses by utilizing the predefined and extended user persona description. In order to make persona exploitation learn to utilize user persona description more properly, we also introduce two persona-oriented loss functions: Persona-oriented Matching (P-Match) loss and Persona-oriented Bag-of-Words (P-BoWs) loss which respectively supervise persona selection in encoder and decoder. Experimental results show that our approach outperforms state-of-the-art baselines, in terms of both automatic and human evaluations.

연구 동기 및 목표

• 비구조화된 퍼스나 중심 대화 시스템(UPDS)에서 제한적이고 흐린 사용자 퍼스나 기술서가 존재하는 문제에 대응하기 위해, 응답 생성 과정에서 효과적인 퍼스나 통합을 방해하는 요소를 해결한다.
• 신경 주제 확장 기법을 통해 사전 정의된 사용자 퍼스나를 의미적으로 관련된 내용으로 확장하여 퍼스나 정보의 활용도를 향상시키기 위해 노력한다.
• 퍼스나 탐색(확장)과 퍼스나 활용(응답 생성)을 통합적으로, 종단간(end-to-end) 방식으로 향상시키는 통합 프레임워크를 개발한다.
• 에코더 및 디코더 구성 요소에서 퍼스나 정보를 보다 잘 선택하고 통합하도록 이끄는 새로운 손실 함수를 설계한다.
• 확장된 퍼스나 표현이 더 일관성 있고 관련성 있으며, 퍼스나 일관성을 유지하는 대화 응답을 생성하는 데 기여함을 입증한다.

제안 방법

• 퍼스나 탐색 모듈에서는 VAE 기반 주제 모델을 사용하여 원본의 짧은 사용자 퍼스나와 대화 기록을 바탕으로 의미적으로 풍부한 확장된 퍼스나 기술서를 생성한다.
• 퍼스나 활용 모듈은 다중 힙 메모리 네트워크를 갖춘 시퀀스-투-시퀀스 아키텍처를 사용하여 원본 및 확장된 퍼스나 표현을 대화 생성 과정에 통합한다.
• 상호 강화(mutual-reinforcement) 다중 힙 메모리 검색 기법은 현재 대화 맥락에 기반하여 원본 및 확장된 퍼스나 내용에서 관련 있는 퍼스나 단어를 동적으로 검색한다.
• 두 가지 새로운 손실 함수를 도입한다: 에코더에서의 퍼스나 선택을 이끄는 퍼스나 중심 매칭(P-Match), 그리고 디코더에서 퍼스나 관련 단어의 생성을 장려하는 퍼스나 중심 Bag-of-Words(P-BoWs).
• 퍼스나 탐색 및 활용 모듈을 공동으로 학습시켜 대화 기록과 확장된 퍼스나 내용 간의 맥락적 및 주제적 일치를 달성한다.
• 외부 퍼스나 단어는 현재 대화 맥락에 대한 관련성에 따라 동적으로 검색되고 가중치가 부여되어 간접적인 퍼스나 관련성을 향상시킨다.

실험 결과

연구 질문

• RQ1 신경 주제 확장 프레임워크는 짧고 비구조화된 사용자 퍼스나를 의미적으로 관련된 내용으로 효과적으로 확장하여 대화 응답 품질을 향상시킬 수 있는가?
• RQ2 확장된 퍼스나 정보를 통합할 경우, 다중 턴 대화 시스템에서 생성된 응답의 관련성과 일관성은 어떻게 영향을 받는가?
• RQ3 제안된 P-Match 및 P-BoWs 손실 함수는 모델이 퍼스나 정보를 탐지하고 활용하는 데 얼마나 기여하는가?
• RQ4 퍼스나 탐색 및 활용 모듈의 공동 학습은 별도 학습 또는 기준 기반 방법보다 성능을 향상시키는가?
• RQ5 확장된 퍼스나 단어를 사용하는 모델은 기준 모델 대비 퍼스나 활용 비율과 응답의 정보성 측면에서 어떻게 비교되는가?

주요 결과

• PEE는 자동 평가 및 인간 평가 지표에서 모두 최신 기준 기반 모델들을 뛰어넘으며, 더 뛰어난 응답 품질과 퍼스나 일관성을 입증한다.
• 인간 평가 결과, 프로파일 메모리 기반 모델 대비 퍼스나 탐지율이 30.01% 향상되어 퍼스나 정보 활용도가 높아짐을 나타낸다.
• 모델은 모든 대화 턴에서 가장 높은 퍼스나 사용 비율을 기록하며, 원본 및 확장된 퍼스나 내용을 일관적이고 맥락에 적절하게 활용한다.
• P-BoWs 및 P-Match 손실 함수는 모델이 더 많은 퍼스나 관련 단어를 생성하고, 에코더 및 디코더에서의 선택 정확도를 향상시키는 데 효과적으로 기여한다.
• 사례 연구를 통해 PEE는 기준 모델이 간과하는 간접적인 의미적 연결(예: '베지언' → '유제품' → '캔디')을 활용하여 더 정보가 풍부하고 성격 일관성이 있는 응답을 생성함을 확인하였다.
• 상호 강화 다중 힙 메모리 기법은 주어진 맥락에 맞는 외부 퍼스나 단어를 성공적으로 검색하고 가중치를 조정하였으며, 주어진 어텐션 맵을 통해 맥락 일치도 향상됨을 시각화하였다.