[논문 리뷰] A Corpus of Controlled Opinionated and Knowledgeable Movie Discussions for Training Neural Conversation Models

Fabian Galetzka, Chukwuemeka U. Eneh외 1명|arXiv (Cornell University)|2020. 03. 30.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 각 참가자의 지식 및 의견 프로필을 명시적으로 제어하는 영화 논의 대화 데이터셋인 KOMODIS를 소개한다. 이 데이터셋으로 훈련된 자기주의 어텐션 디코더 모델은 사실 지식과 안정적인 개인적 입장을 반영하는 자연스럽고 일관되며 의견이 뚜렷한 응답을 생성하며, 무작위 배제 기반 베이스라인에 비해 지식성과 성격 일관성에서 뛰어난 성능을 보인다.

ABSTRACT

Fully data driven Chatbots for non-goal oriented dialogues are known to suffer from inconsistent behaviour across their turns, stemming from a general difficulty in controlling parameters like their assumed background personality and knowledge of facts. One reason for this is the relative lack of labeled data from which personality consistency and fact usage could be learned together with dialogue behaviour. To address this, we introduce a new labeled dialogue dataset in the domain of movie discussions, where every dialogue is based on pre-specified facts and opinions. We thoroughly validate the collected dialogue for adherence of the participants to their given fact and opinion profile, and find that the general quality in this respect is high. This process also gives us an additional layer of annotation that is potentially useful for training models. We introduce as a baseline an end-to-end trained self-attention decoder model trained on this data and show that it is able to generate opinionated responses that are judged to be natural and knowledgeable and show attentiveness.

연구 동기 및 목표

• 비목표 지향 대화에서 지식 유지 및 의견 안정성의 일관성 부족 문제를 해결하기 위해.
• 각 참가자의 지식과 의견이 명시적으로 제어되고 주석 처리된 대규모 고품질 대화 데이터셋을 구축하기 위해.
• 대화 턴 간 사실 지식과 개인적 의견에서의 글로벌 일관성을 유지하는 신경 모델을 훈련하기 위해.
• 현장 작업자들이 대화 생성 과정에서 할당된 지식 및 의견 프로필을 엄격히 준수하는지 검증하기 위해.
• 이 데이터셋으로 훈련된 모델이 인간 평가자들에 의해 자연스럽고 지식이 풍부하며 성격 일관성이 있는 응답을 생성할 수 있음을 입증하기 위해.

제안 방법

• 데이터셋은 아마존 Mechanical Turk를 통해 수집되었으며, 각 대화 쌍은 영화 및 배우에 대한 고유하고 사전 정의된 지식 사실과 의견 프로필이 할당되었다.
• 지식 사실은 IMDb에서 추출되었으며, 캐릭터 관계나 감독의 인용문과 같은 정보를 포함한다.
• 의견 프로필은 엔티티에 대한 태도(예: '감독을 좋아함', '주연 배우를 싫어함')를 포함하며, 한 엔티티에 대해 다수의 의견이 가능하다.
• 각 대화는 지식 및 의견 프로필 준수 여부를 인간 평가자들이 검토하여 높은 일관성을 확보했다.
• 무작위 및 규칙 기반 배제자(디스트랙터) 두 가지 유형의 음성 샘플링을 사용하여, 종단 간 자기주의 어텐션 디코더 모델을 이 데이터셋에 대해 훈련시켰다.
• 모델 평가는 인간 평가(자연스러움, 일관성, 성격, 지식성) 및 자동화된 지표(퍼플렉서티, hits@n)를 통해 수행되었다.

실험 결과

연구 질문

• RQ1 비목표 지향 대화에서 응답을 생성할 때 신경 대화 모델이 오랜 기간 동안 일관된 의견을 유지할 수 있는가?
• RQ2 제어된 프로필 기반 데이터셋에서 모델이 사실 지식을 얼마나 잘 습득하고 유지할 수 있는가?
• RQ3 의도적 의견 및 지식 주석의 포함 여부가 대화 생성에서 모델의 일관성과 자연스러움 향상에 기여하는가?
• RQ4 규칙 기반 vs. 무작위 음성 샘플링 전략이 지식 및 의견 일관성에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 이 제어된 환경에서 hits@n과 같은 자동화된 지표가 인간 평가의 모델 품질 판단과 상관관계를 가지는가?

주요 결과

• 인간 평가에서 성격 일관성에 대해 높은 일치도(5점 만점에 4.55점)를 보였으며, 현장 작업자들이 할당된 의견 프로필을 잘 준수하고 있음을 확인했다.
• 규칙 기반 디스트랙터를 사용해 훈련한 모델은 랜덤 디스트랙터 대비 성격 일관성과 지식성에서 유의미하게 높은 성능(_hits@1: 79.33)을 기록했다.
• 퍼플렉서티가 더 높았음에도 불구하고, 규칙 기반 모델은 인간 평가에서 무작위 모델을 앞서며, 자동화된 지표인 퍼플렉서티가 항상 인간의 인식과 일치하지는 않음을 시사한다.
• hits@n 지표는 인간 평가와 강한 상관관계를 보였으며, 이는 이 맥락에서 모델 품질의 신뢰할 수 있는 대체 지표임을 시사한다.
• 모델은 자연스럽고 의견이 뚜렷하며 지식이 풍부한 응답을 성공적으로 생성했지만, 영화 분야 외의 주제 전환에는 어려움을 겪었다.
• 결과적으로, 지식과 의견의 명시적 레이블링이 더 일관성 있고 매력적인 신경 대화 시스템 훈련을 가능하게 한다는 점을 확인했다.