[논문 리뷰] Conversations Are Not Flat: Modeling the Dynamic Information Flow across Dialogue Utterances

Zekang Li, Jinchao Zhang외 3명|arXiv (Cornell University)|2021. 06. 04.

Topic Modeling참고 문헌 22인용 수 5

한 줄 요약

이 논문은 대화 히스토리에서 문맥 전이를 통해 의미적 영향을 모델링하여 발화 간 동적 정보 흐름을 포착하는 새로운 대화 모델인 DialoFlow를 제안한다. 이는 응답 생성에서 DialoGPT를 능가하며, 인간 평가와 0.9의 챗봇 수준 상관관계를 보이는 참조 기반 없는 자동 평가 지표인 Flow 점수를 도입한다.

ABSTRACT

Nowadays, open-domain dialogue models can generate acceptable responses according to the historical context based on the large-scale pre-trained language models. However, they generally concatenate the dialogue history directly as the model input to predict the response, which we named as the flat pattern and ignores the dynamic information flow across dialogue utterances. In this work, we propose the DialoFlow model, in which we introduce a dynamic flow mechanism to model the context flow, and design three training objectives to capture the information dynamics across dialogue utterances by addressing the semantic influence brought about by each utterance in large-scale pre-training. Experiments on the multi-reference Reddit Dataset and DailyDialog Dataset demonstrate that our DialoFlow significantly outperforms the DialoGPT on the dialogue generation task. Besides, we propose the Flow score, an effective automatic metric for evaluating interactive human-bot conversation quality based on the pre-trained DialoFlow, which presents high chatbot-level correlation ($r=0.9$) with human ratings among 11 chatbots. Code and pre-trained models will be public. \footnote{\url{https://github.com/ictnlp/DialoFlow}}

연구 동기 및 목표

• 대화 히스토리 모델링에서 평탄한 연결 방식의 한계를 해결하기 위해, 발화 간 동적 정보 흐름을 무시하는 문제를 해결하기 위함.
• 각 발화가 변화하는 대화 맥락에 미치는 의미적 영향을 포착하는 방법을 개발하기 위함.
• 향상된 대화 생성을 위해 맥락 흐름과 의미적 영향을 모델링하는 사전 훈련 프레임워크를 설계하기 위함.
• 인간 평가와 높은 상관관계를 보이는 참조 기반 없는 자동 평가 지표(Flow 점수)를 제안하기 위함.

제안 방법

• 대화의 발화 간 동적 맥락 흐름을 모델링하기 위해 단방향 Flow 모듈을 도입한다.
• 의미적 영향을 연속된 맥락 표현 간의 차이로 정의하여 각 발화가 전체 대화 맥락에 어떻게 영향을 주는지를 포착한다.
• 세 가지 훈련 목표를 설계한다: (1) 맥락 흐름 모델링을 통해 흐름 스키마 학습, (2) 의미적 영향 모델링을 통해 영향 예측, (3) 예측된 영향에 따라 유도되는 응답 생성.
• 풍부한 대화 역학을 학습하기 위해 대규모 Reddit 댓글 데이터로 DialoFlow 모델을 사전 훈련한다.
• 사전 훈련된 DialoFlow를 사용해 Flow 점수를 계산하며, 이는 대화의 의미적 영향 일관성에 대한 퍼즐리티 기반 지표이다.

실험 결과

연구 질문

• RQ1 평탄한 연결 방식을 초월해 대화 발화 간 동적 정보 흐름을 어떻게 모델링할 수 있는가?
• RQ2 의미적 영향을 모델링하면 개방형 도메인 대화 시스템의 응답 생성 품질을 향상시킬 수 있는가?
• RQ3 동적 맥락 흐름에 기반한 참조 기반 없는 자동 평가 지표가 인간 평가와 강한 상관관계를 가지는가?
• RQ4 제안된 Flow 점수는 기존의 자동 평가 지표에 비해 상호작용형 대화 품질을 얼마나 잘 캡처하는가?

주요 결과

• DialoFlow는 Reddit 다중 참조 데이터셋과 DailyDialog 데이터셋 모두에서 응답 생성에서 DialoGPT를 뛰어넘는 성능을 보였다.
• 제안된 Flow 점수는 11개의 챗봇에 대해 인간 평가와 r = 0.9의 챗봇 수준 상관관계를 보이며 인간 판단과 강력한 일치를 보였다.
• 공통된 참조 댓글이 없는 인간-봇 대화에서도 Flow 점수가 잘 작동하며, 이러한 환경에서 FED 점수를 능가하는 성능을 보였다.
• T-SNE 시각화 결과, DialoFlow는 주제 이동과 발화자 특화 맥락 흐름을 잘 포착함을 확인하여 동적 의미 전이를 모델링하는 능력을 입증하였다.
• 모델는 맥락 흐름과 의미적 영향을 효과적으로 학습하여, 동적 맥락 모델링을 통해 더 나은 응답 생성을 가능하게 하였다.