[논문 리뷰] End-to-End Trainable Non-Collaborative Dialog System

Yu Li, Kun Qian외 2명|arXiv (Cornell University)|2019. 11. 25.

Topic Modeling참고 문헌 30인용 수 13

한 줄 요약

이 논문은 비협업 대화 시스템에서 작업 중심 및 비작업 중심 콘텐츠를 구분하기 위해 계층적 의도 주석 체계를 사용하는 엔드 투 엔드로 훈련 가능한 MISSA를 제안한다. 이는 의도와 의미적 슬롯 표현에 조건부로 생성함으로써 일관되고 다양한 응답 생성을 가능하게 한다. 새로운 AntiScam 및 PersuasionForGood 데이터셋에서 평가된 결과, MISSA는 자동 평가 및 인간 평가 모두에서 여러 베이스라인을 능가하며 비협업 환경에서 뛰어난 참여도와 작업 성공률을 보였다.

ABSTRACT

End-to-end task-oriented dialog models have achieved promising performance on collaborative tasks where users willingly coordinate with the system to complete a given task. While in non-collaborative settings, for example, negotiation and persuasion, users and systems do not share a common goal. As a result, compared to collaborate tasks, people use social content to build rapport and trust in these non-collaborative settings in order to advance their goals. To handle social content, we introduce a hierarchical intent annotation scheme, which can be generalized to different non-collaborative dialog tasks. Building upon TransferTransfo (Wolf et al. 2019), we propose an end-to-end neural network model to generate diverse coherent responses. Our model utilizes intent and semantic slots as the intermediate sentence representation to guide the generation process. In addition, we design a filter to select appropriate responses based on whether these intermediate representations fit the designed task and conversation constraints. Our non-collaborative dialog model guides users to complete the task while simultaneously keeps them engaged. We test our approach on our newly proposed ANTISCAM dataset and an existing PERSUASIONFORGOOD dataset. Both automatic and human evaluations suggest that our model outperforms multiple baselines in these two non-collaborative tasks.

연구 동기 및 목표

• 사용자와 시스템이 공통 목표를 공유하지 않는 비협업 대화 시스템에서 일관되고 참여도 높은 응답을 생성하는 데 도전하는 것.
• 특히 설득 및 스팸 방지 시나리오에서 중요한 사회적 대화 및 유대 형성 발언을 포함한 작업 중심 및 비작업 중심 콘텐츠를 효과적으로 모델링하는 것.
• 설득 및 스팸 방지와 같은 비협업 대화 작업 전반에 걸쳐 일반화 가능한 통합형 엔드 투 엔드로 훈련 가능한 모델을 개발하는 것.
• 비협업 대화 시스템 연구를 지원하기 위해 새로운 고품질 데이터셋인 AntiScam을 구축하는 것.
• 신경망 생성과 응답 필터링에 의도 및 슬롯 감독을 통합하여 시스템 성능을 향상시키는 것.

제안 방법

• 작업 중심 의도(예: order_ship, payment)와 비작업 중심 대화 액트(예: open_question, yes_no_question)를 분리함으로써 세분화된 감독을 제공하는 계층적 의도 주석 체계를 제안한다.
• TransferTransfo 기반의 신경 모델 MISSA를 설계하여 사용자 및 시스템의 의도와 의미적 슬롯을 동시에 예측하고, 이러한 표현에 조건부로 응답을 생성한다.
• 다중 후보 응답 생성을 위해 nucleus sampling을 사용하고, 작업 중심 및 대화 규칙에 기반한 응답 필터를 적용하여 가장 일관되고 적절한 응답을 선택한다.
• 훈련 중에 탈개별화(delexicalization)를 적용하여 민감한 슬롯 값을 슬롯 토큰으로 대체하고 추론 시에 복원함으로써 개인정보 보호와 일반화 능력을 유지한다.
• 언어 모델링, 의도 분류, 다음 발언 예측을 포함한 다중 작업 학습을 사용하여 새로 수집한 AntiScam 데이터셋과 기존의 PersuasionForGood 데이터셋에서 모델을 피지컬러닝한다.
• 일관성과 작업 일치도를 최적화하기 위해 언어 모델링 손실, 의도 및 슬롯 분류 손실, 다음 발언 예측 손실의 가중 조합을 사용하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 통합형 엔드 투 엔드 모델이 비협업 대화 시스템에서 작업 중심 및 비작업 중심 콘텐츠를 효과적으로 처리할 수 있는가?
• RQ2 계층적 의도 및 슬롯 주석 체계가 비협업 대화 작업에서 응답의 일관성과 다양성에 어떻게 기여하는가?
• RQ3 중간 단계의 의도 및 슬롯 감독을 통합한 신경 생성 모델이 설득 및 스팸 방지 시나리오에서 룰 기반 또는 하이브리드 시스템을 얼마나 능가하는가?
• RQ4 작업 목표 및 대화 규칙에 기반한 응답 필터가 생성된 응답의 품질을 상당히 향상시킬 수 있는가?
• RQ5 제안된 모델이 스팸 방지 및 기부 설득과 같은 다양한 비협업 대화 작업 간에 일반화되는가?

주요 결과

• 제안된 MISSA 모델은 AntiScam 및 PersuasionForGood 데이터셋에서 자동 평가 및 인간 평가 모두에서 여러 경쟁 베이스라인을 능가한다.
• 인간 평가 결과, MISSA는 특히 비작업 질문 처리 및 관계 유지 측면에서 베이스라인 대비 더 일관되고 맥락에 적절하며 참여도 높은 응답을 생성하는 것으로 나타났다.
• 계층적 의도 주석 체계는 작업 중심 및 비작업 중심 콘텐츠의 구분을 효과적으로 포착하였으며, 공격자 역할에서 292개, 사용자 역할에서 252개의 비작업 발언이 확인되어 이러한 세분화된 감독의 필요성을 확인했다.
• 응답 필터는 작업 목표 및 대화 규범에 부합하는 응답을 선택함으로써 출력 품질을 상당히 향상시켰으며, 일관성 없거나 목표에서 벗어난 응답을 줄였다.
• AntiScam 데이터셋은 평균 12.45턴, 평균 11.13단어의 발언을 포함한 220개의 인간-인간 대화로 구성되어 있으며, 220명의 사용자 중 172명이 공격자를 성공적으로 탐지하여 데이터셋의 현실성과 유용성을 검증했다.
• 전문가 주석자 간 의도 및 슬롯 주석에서 0.874의 가중 카파 일치도를 기록하여 주석의 높은 신뢰성을 입증했다.