[논문 리뷰] Assigning personality/identity to a chatting machine for coherent conversation generation

Qian Qiao, Minlie Huang외 3명|arXiv (Cornell University)|2017. 06. 09.

Topic Modeling인용 수 40

한 줄 요약

이 논문은 대화 봇에 사전 정의된 성격/정체성을 할당하여 일관되고 다양한 자연스러운 응답을 생성하는 새로운 모델을 제안한다. 프로필 검출기, 위치 검출기, 양방향 디코더를 사용하여 특정 프로필 속성에 부합하는 응답을 생성함으로써, 기준 순서-순서 모델보다 응답의 일관성과 다양성이 크게 향상된다.

ABSTRACT

Endowing a chatbot with personality or an identity is quite challenging but critical to deliver more realistic and natural conversations. In this paper, we address the issue of generating responses that are coherent to a pre-specified agent profile. We design a model consisting of three modules: a profile detector to decide whether a post should be responded using the profile and which key should be addressed, a bidirectional decoder to generate responses forward and backward starting from a selected profile value, and a position detector that predicts a word position from which decoding should start given a selected profile value. We show that general conversation data from social media can be used to generate profile-coherent responses. Manual and automatic evaluation shows that our model can deliver more coherent, natural, and diversified responses.

연구 동기 및 목표

• 사용자 대화 데이터에서 성격을 학습하는 대신, 사전에 지정된 에이전트 프로필에 대해 일관된 응답을 생성할 수 있도록 하는 것.
• 오픈 도메인 대화 생성에서 일관된 정체성과 언어 스타일을 유지하는 과제를 해결하는 것.
• 일반적인 소셜 미디어 대화 데이터를 사용하여 더 자연스럽고 다양한, 맥락에 적절한 응답을 생성하는 것.
• 관련 프로필 속성을 검출하고 최적의 디코딩 시작 위치를 결정하는 모듈러 아키텍처를 설계하는 것.

제안 방법

• 프로필 검출기는 사용자 게시물이 에이전트의 프로필을 사용해 응답되어야 하는지 분류하고 관련 프로필 키를 선택한다.
• 위치 검출기는 선택된 프로필 값에 기반해 응답에서 디코딩을 시작할 최적의 단어 위치를 예측한다.
• 양방향 디코더는 선택된 프로필 값에서 앞뒤로 응답을 생성하여 일관성과 유창성을 향상시킨다.
• 모델은 사용자별 대화 기록이 필요 없이 일반적인 소셜 미디어 데이터(예: 웨이보)로 훈련된다.
• 프로필 및 위치 검출기는 레이블이 붙은 게시물-응답 쌍을 사용한 지도 학습으로 응답 생성 모델과 함께 종단 간 훈련된다.
• 모델은 일관성과 응답 다양성 등을 포함한 게시물 수준 및 세션 수준의 메트릭으로 평가된다.

실험 결과

연구 질문

• RQ1 사용자별 대화 데이터에 의존하지 않고 사전에 지정된 에이전트 프로필에 대해 일관된 응답을 생성할 수 있는가?
• RQ2 일반적인 소셜 미디어 대화 데이터만으로 프로필 일관성 있는 응답을 어떻게 생성할 수 있는가?
• RQ3 제안된 모델이 기준 순서-순서 모델에 비해 응답의 일관성과 다양성에 얼마나 기여하는가?
• RQ4 위치 검출기가 일관된 응답 생성을 위한 최적의 디코딩 시작 지점을 선택하는 데 얼마나 효과적인가?

주요 결과

• 제안된 ICCM 모델은 세션 수준 평가에서 60.8%의 일관성과 33.3%의 응답 다양성을 달성하여 기준 순서-순서 모델(2.1% 일관성, 1.6% 다양성)을 크게 능가한다.
• 수동 대화 데이터(MD)에서 프로필 검출기는 82.0%의 정확도를 기록하여 에이전트 프로필을 사용할 때를 식별하는 데 효과적임을 입증한다.
• 대부분의 프로필 키에서 위치 검출기는 95% 이상의 정확도를 달성(예: 도시 99.0%, 별자리 100.0%)하며, 희귀 키인 '이름'은 낮은 성능(35.0%)을 보인다.
• 새로운 4개의 프로필 키(hobby, idol, speciality, employer)로 확장된 경우, 모델은 강력한 성능을 유지하며 논리성과 정확도가 10% 상승했음에도 불구하고 기준 순서-순서 모델을 능가한다.
• 수동 평가 결과 ICCM은 기준 모델보다 더 자연스럽고 일관되며 다양한 응답을 생성함을 확인했으며, 논리적 흐름과 정체성 일관성이 향상되었다.
• 위치 제어 기반의 양방향 디코딩 메커니즘이 응답 품질을 크게 향상시켰으며, ICCM-Pos를 사용할 경우 다양성은 10.5% 증가하고 일관성은 14.1% 증가함을 보였다.