[논문 리뷰] Aiming to Know You Better Perhaps Makes Me a More Engaging Dialogue Partner

Yury Zemlyanskiy, Fei Sha|arXiv (Cornell University)|2018. 08. 21.

Topic Modeling참고 문헌 26인용 수 3

한 줄 요약

이 논문은 대화 에이전트가 대화 내내 인간 대화자에 대해 얼마나 많은 것을 배우는지 수량화하는 데 사용할 수 있는 DiscoveryScore라는 지표를 제안한다. 이는 참여를 정보 탐색으로 프레임화하는 것이다. 시뮬레이션된 인간 모델을 사용해 응답을 재정렬하여 기대 DiscoveryScore를 최대화함으로써, 더 더 깊이 있는 질문을 하고 개인화된 대화를 이어가며 더 높은 참여도를 보이는 대화를 생성한다. 이는 인간 평가에서 기존의 기준 대비 유의미하게 높은 성능을 보였다.

ABSTRACT

There have been several attempts to define a plausible motivation for a chit-chat dialogue agent that can lead to engaging conversations. In this work, we explore a new direction where the agent specifically focuses on discovering information about its interlocutor. We formalize this approach by defining a quantitative metric. We propose an algorithm for the agent to maximize it. We validate the idea with human evaluation where our system outperforms various baselines. We demonstrate that the metric indeed correlates with the human judgments of engagingness.

연구 동기 및 목표

• 참여도를 명시적으로 최적화할 수 있는 목적이 부족한 채팅 대화 시스템 문제를 해결하기 위해.
• 참여도를 대화 에이전트가 인간 대화자에 대해 개인적 사실을 탐색하는 목표로 정의하기 위해.
• 사람들의 참여도 인식과 상관관계가 있는 측정 가능한 지표인 DiscoveryScore를 개발하기 위해.
• 일관성을 유지하면서 정보 탐색을 최대화하는 응답 선택 전략을 설계하기 위해.
• Amazon Mechanical Turk에서의 인간 평가를 통해 접근 방식을 검증하고 참여도 점수 향상을 입증하기 위해.

제안 방법

• 대화 내내 인간 대화자에 대해 발견한 진정한 개인적 사실의 수를 측정하는 정량적 지표로 DiscoveryScore를 제안한다.
• 후보 응답에 대한 기대 DiscoveryScore를 추정하기 위해 인간 대화자 시뮬레이터로 기능하는 개인화된 대화 모델(ProfileMemory+)을 사용한다.
• 두 단계로 구성된 재정렬 과정을 적용한다: 먼저 100개의 응답 후보를 생성하고, 그 후 각 후보에 대해 ProfileMemory+ 모델을 사용해 10번의 대화 시뮬레이션을 수행해 기대 DiscoveryScore를 추정한다.
• 응답 생성에 범위 탐색(100개의 경로)과 탐욕적 디코딩을 사용하며, DiscoveryScore 기반 재정렬을 통해 가장 정보량이 많은 응답을 선택한다.
• PersonaChat 및 OpenSubtitles 데이터셋을 사용해 ProfileMemory+ 모델을 훈련시켜, 성격 이해 능력과 응답 일관성 향상을 도모한다.
• Mechanical Turk에서의 인간 평가를 통해 유창성, 일관성, 특히 1~5점 척도 기반의 참여도를 평가하며, 성격 탐지 정확성도 함께 측정한다.

실험 결과

연구 질문

• RQ1 대화 에이전트가 대화 상대자의 개인적 사실을 탐색하도록 명시적으로 목표를 설정함으로써 참여도를 향상시킬 수 있는가?
• RQ2 제안된 DiscoveryScore 지표는 개방형 대화에서 사람들의 참여도 평가와 상관관계가 있는가?
• RQ3 기대 DiscoveryScore를 최대화하는 데 기반한 응답 선택 전략이 표준 기준 대비 더 높은 참여도를 보이는 대화를 이끌 수 있는가?
• RQ4 시뮬레이션된 인간 모델(ProfileMemory+)의 사용이 DiscoveryScore 추정과 최종 대화 품질에 어떤 영향을 미치는가?
• RQ5 DiscoveryScore 기반 재정렬은 자율적인 개인 정보 공개를 얼마나 줄이고 상대방 중심의 질문을 얼마나 증가시키는가?

주요 결과

• DiscoveryScore 기반 재정렬 방법은 테스트된 모든 대화봇 모델에서 인간 평가 기반 참여도 점수를 유의미하게 향상시켰으며, 평가자들은 에이전트를 종종 '진심 어린 관심'을 보이는 것으로 묘사했다.
• 응답 길이나 질문 수와 같은 단순 지표와는 강한 상관관계가 없었지만, DiscoveryScore와는 강한 상관관계가 발견되었다.
• ProfileMemory+ 모델은 PersonaChat 데이터셋에서 최고 수준의 퍼즐리티를 달성했으며, 표준 seq2seq 모델 대비 더 나은 성격 활용 능력을 보였다.
• DiscoveryScore 기반 재정렬을 사용할 경우 성격 탐지 점수는 약간 감소했으며, 이는 자기 자신에 대한 정보 공개가 줄어들고 상대방의 사실 중심 질문이 증가했음을 시사한다.
• 인간 평가자들은 DiscoveryScore 최적화 시스템을 재정렬가 없는 기준 모델보다 참여도에서 유의미하게 높게 평가했다(p < 0.01).
• 예시 대화에서는 재정렬된 모델이 더 더 깊이 있는 질문을 더 자주 생성했으며, 일관성과 유창성 유지 능력도 뛰어났다.