[논문 리뷰] End-to-end Conversation Modeling Track in DSTC6

Chiori Hori, Takaaki Hori|arXiv (Cornell University)|2017. 06. 22.

Topic Modeling참고 문헌 7인용 수 24

한 줄 요약

이 논문은 DSTC6의 엔드 투 엔드 대화 모델링 트랙을 제시하며, 고객 서비스 트윗에 인간처럼 들리는 응답을 대화 맥락과 외부 지식만을 사용해 생성하도록 도전한다. 최고 성능을 낸 시스템은 공감적이고 맥락에 적절한 응답을 생성하여 일부 경우에서 기준 인간 응답을 뛰어넘는 높은 인간 평가를 기록했다.

ABSTRACT

End-to-end training of neural networks is a promising approach to automatic construction of dialog systems using a human-to-human dialog corpus. Recently, Vinyals et al. tested neural conversation models using OpenSubtitles. Lowe et al. released the Ubuntu Dialogue Corpus for researching unstructured multi-turn dialogue systems. Furthermore, the approach has been extended to accomplish task oriented dialogs to provide information properly with natural conversation. For example, Ghazvininejad et al. proposed a knowledge grounded neural conversation model [3], where the research is aiming at combining conversational dialogs with task-oriented knowledge using unstructured data such as Twitter data for conversation and Foursquare data for external knowledge.However, the task is still limited to a restaurant information service, and has not yet been tested with a wide variety of dialog tasks. In addition, it is still unclear how to create intelligent dialog systems that can respond like a human agent. In consideration of these problems, we proposed a challenge track to the 6th dialog system technology challenges (DSTC6) using human-to-human dialog data to mimic human dialog behaviors. The focus of the challenge track is to train end-to-end conversation models from human-to-human conversation and accomplish end-to-end dialog tasks in various situations assuming a customer service, in which a system plays a role of human agent and generates natural and informative sentences in response to user's questions or comments given dialog context.

연구 동기 및 목표

• 고객 서비스 시나리오에서 자연스럽고 정보적인 응답을 생성할 수 있는 완전히 데이터 기반의 엔드 투 엔드 신경 대화 시스템 개발
• 시퀀스 투 시퀀스 모델과 외부 지식 통합의 효과성 평가를 통해 실제 트위터 고객 서비스 상호작용에 맥락에 적합한 응답 생성
• 오픈 도메인, 작업 중심 대화 시스템에서 응답 품질 평가 시 객관적 자동 평가 지표와 인간 평가 간 비교
• 명시적인 감정 레이블 없이도 신경 응답 생성에서 공감과 감정 이해를 어떻게 모델링할 수 있는지 탐색
• 자동 평가 지표의 한계를 인간 판단과 비교함으로써 파악

제안 방법

• 참가자들은 2017년 9월 7일에서 18일 사이에 수집한 대규모 트위터 고객 서비스 대화 데이터를 기반으로 엔드 투 엔드 시퀀스 투 시퀀스 모델을 훈련시켰다.
• 공식 훈련, 검증, 테스트 세트와 겹치지 않는 공개 웹 자료에서의 외부 지식 사용을 허용했으며, 이는 데이터 오염 방지를 위한 조치였다.
• 모든 팀이 일관된 데이터 확보를 위해 데이터 수집 도구를 제공했으며, 공식 훈련/검증/테스트 분할은 데이터 수집 기간 종료 후에 공개되었다.
• 응답 생성은 자동 평가 지표(예: BLEU, ROUGE)와 자연스러움 및 정보성에 대한 5단계 척도의 인간 평가를 통해 평가되었다.
• 인간 평가는 문장 수준의 평가에 중점을 두었으며, 공감 능력, 관련성, 사용자 입력에 대한 정확성을 평가했다.
• 비작업 중심 대화 맥락에서 자연스러움을 평가하기 위해 오픈서브타이틀즈 데이터를 활용한 프리 테스크가 포함되었다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 신경 시퀀스 투 시퀀스 모델은 고객 서비스 대화 시나리오에서 얼마나 자연스럽고 맥락에 적절한 응답을 생성할 수 있는가?
• RQ2 외부 지식 통합이 응답의 정보성과 정확성에 얼마나 기여하는가?
• RQ3 자동 평가 지표는 오픈 도메인 대화 시스템에서 응답 품질에 대한 인간 판단과 얼마나 상관이 있는가?
• RQ4 신경 모델은 기준 인간 응답을 뛰어넘는 지원성 인식을 갖춘 공감 능력을 가진 응답을 생성할 수 있는가?
• RQ5 모델이 부정적인 사용자 감정을 긍정적으로 오해할 경우 응답 생성의 주요 실패 유형은 무엇인가?

주요 결과

• 최고 성능 시스템은 평균 인간 평가 점수 4.5를 기록했으며, '매우 좋음'(5점)으로 평가된 응답 비율도 가장 높아 기준 시스템을 크게 앞섰다.
• 인간 평가 결과, 감정적 지지와 공감이 담긴 응답은 기준 응답과 다소 다를지라도 일관되게 높은 평가를 받았다.
• 일부 시스템은 특히 항공기 결항이나 서비스 불량 경험과 같은 감정적으로 격렬한 맥락에서 원래 인간 응답보다 더 유리하게 평가되었다.
• 가장 성능이 열악한 시스템은 부정적인 사용자 입력을 모두 긍정적으로 오해하여 평균 인간 평가 점수가 단 1.2에 그쳐 감정 이해의 심각한 실패를 드러냈다.
• BLEU나 ROUGE와 같은 객관적 지표는 인간 평가와의 상관관계가 미미하여 보다 나은 자동 평가 기능이 필요하다는 점을 시사했다.
• 기준 시스템은 강력한 성능을 보였지만, 6개 예제 중 3개에서 최고 성능 시스템에 밀렸으며, 특히 공감 표현과 실행 가능한 해결책 제안 측면에서 뛰어났다.