[논문 리뷰] Improving Multi-turn Dialogue Modelling with Utterance ReWriter

Hui Su, Xiaoyu Shen외 5명|arXiv (Cornell University)|2019. 06. 14.

Topic Modeling참고 문헌 36인용 수 17

한 줄 요약

이 논문은 다중 전환 대화 시스템의 성능을 향상시키기 위해 핵심어 해결 및 생략된 정보 보완을 통해 사용자 발화를 재작성하는 Transformer 기반의 발화 재작성 모델을 제안한다. 발화를 재작성하여 맥락적 의존성을 복구함으로써, 후속 작업인 의도 검출 및 응답 생성 성능을 햖थ, 실시간 채팅 봇에서 F1 스코어 0.86을 달성하고 사용자 참여도를 높였다.

ABSTRACT

Recent research has made impressive progress in single-turn dialogue modelling. In the multi-turn setting, however, current models are still far from satisfactory. One major challenge is the frequently occurred coreference and information omission in our daily conversation, making it hard for machines to understand the real intention. In this paper, we propose rewriting the human utterance as a pre-process to help multi-turn dialgoue modelling. Each utterance is first rewritten to recover all coreferred and omitted information. The next processing steps are then performed based on the rewritten utterance. To properly train the utterance rewriter, we collect a new dataset with human annotations and introduce a Transformer-based utterance rewriting architecture using the pointer network. We show the proposed architecture achieves remarkably good performance on the utterance rewriting task. The trained utterance rewriter can be easily integrated into online chatbots and brings general improvement over different domains.

연구 동기 및 목표

• 다중 전환 대화에서 핵심어 문제와 정보 생략으로 인한 정확한 이해 및 응답 생성의 어려움을 해결하기 위해.
• 모델에 종속되지 않고 메모리 효율적인 사전 처리 단계를 개발하여 다중 전환 대화를 단일 전환 문제로 단순화하기 위해.
• 핵심어 해결 및 정보 보완을 위한 고품질 수동 주석 처리된 중국어 대화 데이터셋을 수집 및 공개하기 위해.
• 발화 재작성 모델을 통합하여 실제 채팅 봇 시스템에서 의도 검출 및 응답 품질을 향상시키기 위해.

제안 방법

• 모델는 수정된 Transformer 아키텍처에 포인터 네트워크 메커니즘을 통합하여, 추출적 생성 작업으로 학습된다.
• 모델는 주어진 발화 또는 대화 이력에서 단어를 복사함으로써 어텐션 기반 메커니즘을 사용해 재작성된 발화를 생성한다.
• 아키텍처는 문장 내 의존성을 모델링하기 위해 Transformer의 자기어텐션을 통합하면서도, 원본 텍스트에서 복사할 수 있는 능력을 유지한다.
• 감독 학습을 위한 20,000개의 다중 전환 중국어 대화와 수동 주석 처리된 재작성 결과를 포함한 새로운 데이터셋을 수집하였다.
• 핵심어 해결과 정보 보완을 균형 있게 처리하기 위해 가중치가 부여된 λ-손실 함수를 사용하여 모델를 미세조정한다.
• 학습된 재작성 모델는 작업 지향형 시스템과 대화형 시스템을 포함한 두 개의 온라인 채팅 봇 플랫폼에 통합되어 종단 간 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 사전 처리 단계인 발화 재작성 모델이 핵심어 해결 및 생략된 정보 보완을 통해 다중 전환 대화 이해를 크게 향상시킬 수 있는가?
• RQ2 RNN 및 표준 Transformer 기반 모델 대비 Transformer 기반의 포인터 네트워크 아키텍처가 발화 재작성에 얼마나 효과적인가?
• RQ3 발화 재작성 모델을 통합함으로써 작업 지향형 대화 시스템에서 의도 분류 정확도는 어느 정도 향상되는가?
• RQ4 실제 채팅 봇 애플리케이션에서 발화 재작성 모델이 사용자 참여도 및 대화 품질 향상에 측정 가능한 기여를 하는가?

주요 결과

• 제안된 T-Ptr-λ 모델은 발화 재작성 작업에서 F1 스코어 0.86을 기록하여 RNN 및 표준 Transformer 기반 모델을 모두 앞서며 성능을 뛰어넘었다.
• 작업 지향형 채팅 봇에서 의도 분류 정밀도가 81.0%에서 89.91%로 향상되어 상대적 개선률이 9% 이상을 기록하였다.
• 온라인 A/B 테스트에서 재작성 모델 통합으로 세션당 평균 대화 전환 수(CPS)가 6.3에서 7.7로 증가하여 사용자 참여도 향상을 입증하였다.
• 인간 평가 결과, 모델가 생성한 재작성 문장은 유창하며, 5.0 만점에 4.90점의 유창도 점수를 기록하여 인간 기준(4.97점)과 매우 유사했다.
• 모델는 암묵적인 정보를 성공적으로 복원하여, 날씨 관련 질의에서 '베이징에서 기분이 상쾌하지 않아요'라는 표현을 복원함으로써 정확한 의도 검출을 가능하게 하였다.
• 모델는 다양한 도메인에 일반화되며, 아키텍처 변경 없이도 기존의 블랙박스 대화 시스템에 쉽게 통합될 수 있다.