[논문 리뷰] Training Millions of Personalized Dialogue Agents

Pierre-Emmanuel Mazaré, Samuel Humeau외 2명|arXiv (Cornell University)|2018. 09. 06.

Topic Modeling참고 문헌 12인용 수 23

한 줄 요약

이 논문은 레딧에서 추출한 500만 명의 개인적 특성과 7억 개의 개인적 특성 기반 대화 데이터셋을 소개하며, 개인 프로필에 조건부로 작동하는 엔드 투 엔드 대화 에이전트를 훈련시킬 수 있도록 한다. 저자들은 이 거대한 데이터셋을 기반으로 훈련시킴으로써 응답 생성 성능이 향상되고, 전이 학습을 통해 Persona-Chat 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성함을 보여준다.

ABSTRACT

Current dialogue systems are not very engaging for users, especially when trained end-to-end without relying on proactive reengaging scripted strategies. Zhang et al. (2018) showed that the engagement level of end-to-end dialogue models increases when conditioning them on text personas providing some personalized back-story to the model. However, the dataset used in Zhang et al. (2018) is synthetic and of limited size as it contains around 1k different personas. In this paper we introduce a new dataset providing 5 million personas and 700 million persona-based dialogues. Our experiments show that, at this scale, training using personas still improves the performance of end-to-end systems. In addition, we show that other tasks benefit from the wide coverage of our dataset by fine-tuning our model on the data from Zhang et al. (2018) and achieving state-of-the-art results.

연구 동기 및 목표

• 엔드 투 엔드 대화 시스템의 참여도 부족과 개인화 부족 문제를 해결하기 위해 사용자 개인적 특성을 통합한다.
• 기존의 개인적 특성 데이터셋(예: Persona-Chat)이 약 1,000명의 개인적 특성 뿐이라는 점에서 기인하는 데이터 부족 문제와 인위적인 성격을 해결한다.
• 실제 레딧 대화를 활용하여 대규모, 다양하고 대표적인 개인적 특성 기반 대화 데이터셋을 구축한다.
• 이 대규모 데이터셋에 대한 사전 훈련이 후속 개인화된 대화 작업의 성능 향상에 기여함을 입증한다.
• 다양한 개인적 특성 추출 전략이 대화 생성 품질과 모델 일반화에 미치는 영향을 조사한다.

제안 방법

• 17억 개의 레딧 댓글을 추출하고, 언어적 기준(4~20단어, 'I' 또는 'my' 포함, 최소 한 개의 동사와 명사/대명사/형용사 포함)을 바탕으로 사용자 개인적 특성을 식별하기 위한 히우리스틱을 적용한다.
• Persona-Chat 데이터셋에 기반한 Bag-of-Words 분류기를 사용하여 후보 개인적 특성 문장을 걸러내고 순위를 매겨, 규칙만 사용하는 것보다 선택 품질을 향상시킨다.
• 훈련 예시를 (개인적 특성, 맥락, 응답) 형식으로 구성하며, 개인적 특성은 한 사용자의 특성을 묘사하는 최대 N개 문장의 집합이다.
• LSTM 및 Transformer 기반 모델을 레딧 기반 개인적 특성 데이터셋에 대해 훈련시켰으며, 배치 크기 512, Adamax 최적화, FastText 임베딩을 사용한다.
• 모델을 레딧 기반 작업과 Persona-Chat 벤치마크 양쪽에서 평가하였으며, 제로샷 추론 및 미세조정을 포함한다.
• 전이 학습을 적용하여 레딧 사전 훈련 모델을 더 작은 Persona-Chat 데이터셋에 대해 미세조정하여 일반화 능력과 성능 향상 여부를 평가한다.

실험 결과

연구 질문

• RQ1 다양하고 실생활 기반의 개인적 특성 기반 대화 데이터셋에 대해 대규모 사전 훈련을 수행하면 엔드 투 엔드 대화 모델의 성능 향상이 이루어지는가?
• RQ2 개인적 특성 추출 방법의 선택(규칙, 분류기, 무작위 선택)이 대화 생성 품질과 모델 일반화에 어떤 영향을 미치는가?
• RQ3 거대한 레딧 기반 데이터셋에 대해 사전 훈련한 모델이 더 작은 코너스토리된 벤치마크인 Persona-Chat에 얼마나 잘 전이되는가?
• RQ4 사용자 개인적 특성에 기반한 조건화가 개방형 도메인 대화에서 더 일관되고 매력적인 응답을 생성하는 데 기여하는가?
• RQ5 사용자당 개인적 특성 문장 수(개수)가 응답 생성 정확도에 어떤 영향을 미치는가?

주요 결과

• 500만 명의 개인적 특성, 7억 개의 대화 데이터셋에 대해 훈련한 모델은 개인적 특성 조건화 없이 훈련된 모델보다 응답 생성 정확도가 뚜렷이 향상된다.
• 레딧 사전 훈련 모델을 Persona-Chat 데이터셋에 대해 미세조정한 모델은 hits@1이 60.7%를 기록하여 이전 최신 기술 수준(35.4%)을 크게 초월한다.
• 사용자당 개인적 특성 문장 수를 20개에서 100개로 늘일 경우, 레딧 테스트 세트에서 hits@1이 71.3%에서 74.4%로 향상된다.
• Persona-Chat 데이터셋에 기반해 훈련된 개인적 특성 분류기는 레딧 데이터에 적용했을 때 성능이 악화되어 두 데이터셋 간 스타일 또는 분포 불일치가 있음을 시사한다.
• 가장 높은 성능을 보인 모델(Transformer, 100개의 개인적 특성 문장, 규칙 + 분류기 선택)은 레딧 테스트 세트에서 hits@1이 74.4%를 기록했다.
• 레딧 사전 훈련 모델을 Persona-Chat에 대해 미세조정함으로써 hits@1이 18.6% 포인트 향상되었으며, 이는 사전 훈련 데이터의 강력한 전이 가능성과 광범위한 커버리지가 있음을 입증한다.