[논문 리뷰] Learning Multi-Party Turn-Taking Models from Dialogue Logs

Maíra Gatti de Bayser, Paulo Cavalin외 2명|arXiv (Cornell University)|2019. 07. 03.

Speech and dialogue systems참고 문헌 17인용 수 11

한 줄 요약

이 논문은 대화 로그를 기반으로 한 기계학습 모델을 사용하여 다자간 대화에서 대화의 흐름을 학습하는 방법을 제안한다. MLE, SVM, CNN, LSTM 등의 기법을 비교 분석한 결과, 주제 중심의 대규모 데이터셋에서는 내용 인식 기반 딥러닝 모델(특히 CNN)이 다른 모델보다 뚜렷이 뛰어나며, 소규모 주제 특화 데이터셋에서는 간단한 모델으로도 충분히 성능을 낼 수 있음을 확인했다.

ABSTRACT

This paper investigates the application of machine learning (ML) techniques to enable intelligent systems to learn multi-party turn-taking models from dialogue logs. The specific ML task consists of determining who speaks next, after each utterance of a dialogue, given who has spoken and what was said in the previous utterances. With this goal, this paper presents comparisons of the accuracy of different ML techniques such as Maximum Likelihood Estimation (MLE), Support Vector Machines (SVM), and Convolutional Neural Networks (CNN) architectures, with and without utterance data. We present three corpora: the first with dialogues from an American TV situated comedy (chit-chat), the second with logs from a financial advice multi-bot system and the third with a corpus created from the Multi-Domain Wizard-of-Oz dataset (both are topic-oriented). The results show: (i) the size of the corpus has a very positive impact on the accuracy for the content-based deep learning approaches and those models perform best in the larger datasets; and (ii) if the dialogue dataset is small and topic-oriented (but with few topics), it is sufficient to use an agent-only MLE or SVM models, although slightly higher accuracies can be achieved with the use of the content of the utterances with a CNN model.

연구 동기 및 목표

• 사용자 명령 없이도 챗봇이 다자간 대화에서 언제 말을 해야 할지 자율적으로 결정할 수 있도록 하는 데 도전하는 것.
• 기계학습이 규칙 기반 시스템의 한계(전문 지식 필요, 확장성 부족)를 피하면서 대화 로그에서 대화 흐름 행동을 학습할 수 있는지 탐구하는 것.
• 다양한 유형의 대화 데이터(일상 대화 및 주제 중심 대화 포함)에서 MLE, SVM, CNN, LSTM 등의 다양한 기계학습 모델의 효과성을 평가하는 것.
• 대화 내용을 포함한 모델과 단지 화자 이력만을 고려한 모델 간의 예측 정확도에 미치는 영향을 비교하는 것.
• 데이터셋 크기가 다양한 기계학습 모델, 특히 딥러닝 모델의 성능에 미치는 영향을 평가하는 것.

제안 방법

• 이 작업은 다중 클래스 분류 문제로 설정되며, 이전 화자들의 시퀀스와 그들의 발언을 바탕으로 다음 화자 예측을 목표로 한다.
• 세 가지 별도의 대화 코퍼스를 구축하였다: (1) 텔레비전 시트콤 대화(일상 대화), (2) 금융 조언을 위한 다중 봇 로그(주제 중심), (3) MultiWOZ 데이터셋에서 유도된 코퍼스(주제 중심).
• 모델은 화자 이력 전용 입력(화자 이력)과 화자 이력 + 발언 텍스트 입력(화자 이력 + 발언 텍스트)을 모두 사용하여 훈련되었으며, 최대 이전 두 턴까지의 봇 룩백 윈도우를 적용하였다.
• 다양한 모델을 평가하였다: 최대가능도추정(MLE), 서포트벡터머신(SVM), 컨볼루션뉴럴넷(CNN), 장기단기기억(LSTM) 네트워크.
• 내용 기반 모델의 경우, 발언은 사전 학습된 컨텍스트 임베딩(표준 자연어 처리 관행에 따라 암시됨)을 사용하여 임베딩되었으며, CNN는 순차적 화자-내용 이력을 처리하여 다음 화자를 예측한다.
• 성능 평가에는 정확도를 사용하였으며, 기준 모델로는 항상 마지막 화자와 동일한 화자를 예측하는 Repeat Last 모델을 사용하였다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 명시적인 규칙 없이도 원시 대화 로그에서 다자간 대화의 다음 화자를 예측할 수 있는가?
• RQ2 화자 이력 외에 발언 내용까지 포함할 경우, 단지 화자 이력만을 사용할 때보다 예측 정확도에 어떤 영향을 미치는가?
• RQ3 훈련 코퍼스의 크기가 다양한 기계학습 모델의 성능에 어떤 영향을 미치는가, 특히 딥러닝 모델의 경우?
• RQ4 MLE, SVM, CNN, LSTM 중 어떤 기계학습 모델이 일상 대화와 주제 중심 대화를 포함한 다양한 대화 유형에서 가장 높은 정확도를 달성하는가?
• RQ5 내용 인식 기반 모델의 성능 향상은 통계적으로 유의미한가, 특히 소규모 또는 주제 특화 데이터셋에서는 더욱 그렇다고 볼 수 있는가?

주요 결과

• 모든 세 데이터셋에서 CNN 모델이 가장 높은 정확도를 기록하였으며, 특히 가장 큰 주제 중심의 multibotwoz 데이터셋에서는 화자 및 내용 입력을 모두 사용한 경우 94.19%의 정확도를 달성했다.
• 대규모 multibotwoz 데이터셋에서는 내용 인식 기반 CNN 모델이 기준 모델보다 유의미하게 높은 성능을 보였다(p < 0.01), 이는 더 큰 데이터셋이 딥러닝 모델의 일반화 능력을 향상시킨다는 것을 시사한다.
• 소규모 주제 중심의 finch 데이터셋에서는 화자 전용 MLE 및 SVM 모델이 충분히 우수한 성능을 보였지만, CNN를 통해 내용 정보를 추가하면 정확도가 뚜렷이 향상되었다(예: AC-SVM: 92.48% 대비 A-SVM: 66.55%), 통계적 유의성(p < 0.01)도 확인되었다.
• 일상 대화 성격의 시트콤 데이터셋에서는 모든 모델, 포함해 CNN조차도 단순 Repeat Last 기준 모델(61.34%)을 뛰어넘지 못했으며, 어떤 모델도 통계적으로 유의미한 향상가지를 보이지 않았다(p ≥ 0.01). 이는 현재 방법으로는 일상 대화의 흐름이 예측하기 어려운 경향이 있음을 시사한다.
• 두 턴의 봇 룩백 윈도우는 항상 단일 턴 모델보다 뛰어난 성능을 보였으며, 두 턴을 초과하여 윈도우를 늘여도 성능 향상이 없었다.
• 내용 기반 딥러닝 모델은 데이터셋 크기와 강한 정적 상관관계를 보였다: 더 큰 데이터셋에서는 성능 향상이 뚜렷했고, 소규모 데이터셋에서는 특히 주제 중심이 아닌 환경에서는 모델 성능 향상이 제한되었다.