[논문 리뷰] Personalizing Dialogue Agents: I have a dog, do you have pets too?

Saizheng Zhang, Emily Dinan외 4명|arXiv (Cornell University)|2018. 01. 22.

Topic Modeling참고 문헌 25인용 수 196

한 줄 요약

이 논문은 페르소나로 조건된 채팅과 대규모 페르소나-채 데이터셋을 소개합니다. 기억-강화 및 조회 기반 모델은 다음 발화 예측에서 명시적 페르소나 조건의 이점을 보이며, 인간 평가에서는 페르소나가 풍부한 데이터가 OpenSubtitles/Twitter 계측선보다 우세합니다.

ABSTRACT

Chit-chat models are known to have several problems: they lack specificity, do not display a consistent personality and are often not very captivating. In this work we present the task of making chit-chat more engaging by conditioning on profile information. We collect data and train models to (i) condition on their given profile information; and (ii) information about the person they are talking to, resulting in improved dialogues, as measured by next utterance prediction. Since (ii) is initially unknown our model is trained to engage its partner with personal topics, and we show the resulting dialogue can be used to predict profile information about the interlocutors.

연구 동기 및 목표

• 구성 가능한 프로필(페르소나)에 조건을 두고 채팅을 개인화하는 작업을 소개합니다.
• 원래의 페르소나와 수정된 페르소나를 포함하여 persona-chat 데이터셋을 생성하고 공개합니다.
• 페르소나 정보를 가진 경우와 없는 경우의 차이로 다음 발화 예측에서 생성 모델과 랭킹 모델을 평가합니다.
• 페르소나 조건이 다음 발화 예측을 개선하고 대화에서 파트너 프로필링을 가능하게 함을 보여줍니다.

제안 방법

• 네 가지 모델링 패러다임을 제안합니다: Seq2Seq, Profile Memory Network, Key-Value Profile Memory Network, 및 표준 랭킹 베이스라인(IR, StarSpace).
• 에이전트의 페르소나, 파트너의 페르소나, 또는 두 가지 모두에 입력 조건을 두고 세 가지 페르소나 설정(No Persona, Original Persona, Revised Persona)에서 평가합니다.
• 평가 지표로 perplexity(ppl), hits@1, 그리고 다음 발화 분류 손실(F1 유사)을 사용합니다.
• 162,064 발화가 10,907 대화를 이룬 대규모 크라우드소스 데이터셋(persona-chat)을 구축하며, 각 참가자에게 페르소나를 부여합니다.
• 페르소나 문장과 필요 시 대화 히스토리 키/값에 주의를 기울이기 위해 기억 보강 아키텍처를 사용하여 응답 선택에 영향을 줍니다.
• 복제 용이성을 위해 오픈 소스 코드와 ParlAI 통합을 제공합니다.

실험 결과

연구 질문

• RQ1 명시적 페르소나 정보로 대화 에이전트를 조건화하는 것이 페르소나가 없는 베이스라인과 비교해 다음 발화 예측을 향상시키나요?
• RQ2 파트너의 페르소나에 조건을 두면 대화 품질과 프로필 정보를 예측하거나 회복하는 능력에 어떤 영향이 있나요?
• RQ3 수정된 페르소나(단어 겹침 제거)가 더 큰 학습 도전을 제기하나요, 그리고 기억-주의 모델이 여전히 이를 효과적으로 활용할 수 있나요?
• RQ4 생성 모델과 랭킹 모델이 페르소나 정보를 조건으로 할 때 유창성, 참여도, 일관성 면에서 어떻게 비교되나요?

주요 결과

• 페르소나 정보를 조건으로 하면 생성 모델과 랭킹 모델 모두에서 다음 발화 예측이 향상됩니다.
• 페르소나 메모리 위에서의 기억 강화 주의(attention)가 단순 연결(concatenation) 기초보다 더 나은 성능을 보이며, KV-페르소나 메모리가 일부 설정에서 가장 큰 이득을 제공합니다.
• 다음 발화 선택 작업에서 랭킹 모델이 생성 모델보다 우수합니다 (hits@1로 측정).
• Original(수정되지 않은) 페르소나가 단어 중복이 있어 더 큰 이득을 주고, 수정된 페르소나도 기억 기반 모델을 사용할 때 여전히 이점을 제공합니다.
• 페르소나-챗 데이터로 학습된 모델이 OpenSubtitles나 Twitter 데이터로 학습된 모델보다 더 매력적이고 일관된 대화를 생성합니다, 인간 평가에 따르면.
• 인간 평가자들은 때때로 페르소나 조건을 알아챌 수 있었지만, 유창성과 일관성은 비페르소나 베이스라인과 경쟁력이 있었습니다.