[논문 리뷰] A Pre-training Based Personalized Dialogue Generation Model with Persona-sparse Data

Yinhe Zheng, Rongsheng Zhang외 2명|arXiv (Cornell University)|2019. 11. 12.

Topic Modeling참고 문헌 28인용 수 19

한 줄 요약

이 논문은 실제 대화에서 흔히 발생하는 퍼소나가 드물게 언급되는 데이터를 효과적으로 활용하기 위해 인코더에 퍼소나 속성 임베딩을 통합하고 디코더에서 동적 어텐션 라우팅 메커니즘을 사용하여 응답 생성 중 퍼소나 관련성의 균형을 맞추는 프리트레인 기반 대화 생성 모델을 제안한다. 이 모델은 퍼소나 일관성과 일관성 면에서 최신 기술 수준의 성능을 달성하며, 일부 평가에서는 인간이 생성한 응답보다도 퍼소나 일관성 면에서 뛰어나다.

ABSTRACT

Endowing dialogue systems with personas is essential to deliver more human-like conversations. However, this problem is still far from well explored due to the difficulties of both embodying personalities in natural languages and the persona sparsity issue observed in most dialogue corpora. This paper proposes a pre-training based personalized dialogue model that can generate coherent responses using persona-sparse dialogue data. In this method, a pre-trained language model is used to initialize an encoder and decoder, and personal attribute embeddings are devised to model richer dialogue contexts by encoding speakers' personas together with dialogue histories. Further, to incorporate the target persona in the decoding process and to balance its contribution, an attention routing structure is devised in the decoder to merge features extracted from the target persona and dialogue contexts using dynamically predicted weights. Our model can utilize persona-sparse dialogues in a unified manner during the training process, and can also control the amount of persona-related features to exhibit during the inference process. Both automatic and manual evaluation demonstrates that the proposed model outperforms state-of-the-art methods for generating more coherent and persona consistent responses with persona-sparse data.

연구 동기 및 목표

• 실제 대화에서 퍼소나가 자주 언급되지 않는 희소한 퍼소나 데이터로 개인화된 대화 시스템을 훈련하는 데 도전하는 것.
• 기존 모델이 풍부한 퍼소나 데이터로 구성된 커뮤니티 기반 데이터셋에 과적합하는 문제를 해결하기 위해, 희소하고 현실적인 대화 패턴으로 일반화 가능한 방법을 설계하는 것.
• 디코딩 과정에서 퍼소나 특징의 기여도를 동적으로 조절함으로써 추론 시 퍼소나 관련 콘텐츠의 제어 가능한 생성을 가능하게 하는 것.
• 저빈도 퍼소나 빈도 환경에서의 자동 평가 및 수동 평가 지표인 일관성과 퍼소나 일관성 향상을 위한 것.

제안 방법

• 모델은 인코더와 디코더 양쪽에 프리트레인된 언어 모델(예: T5 또는 유사 모델)을 사용하여 대화 생성을 위한 강력한 초기 표현을 확보한다.
• 퍼소나 인식 특징을 강화하기 위해 인코더에 퍼소나 속성 임베딩을 도입하여 대화 기록과 함께 화자 퍼소나를 인코딩한다.
• 디코더에 위치한 동적 어텐션 라우팅 메커니즘은 대상 퍼소나, 대화 기록, 이전에 생성된 토큰의 세 가지 특징 소스를 학습 가능한 가중치를 사용해 기여도를 균형 잡는다.
• 동적 가중치 예측기(예측기)는 각 어텐션 루트에 대한 라우팅 가중치를 계산하여, 추론 중 맥락에 따라 퍼소나의 영향력을 조절할 수 있도록 한다.
• 모델는 퍼소나가 드문 데이터에서 엔드 투 엔드로 미세조정되어, 퍼소나가 풍부한 데이터가 필요 없이 통합된 훈련이 가능하다.
• 추론 과정은 초모수 α를 통해 제어가 가능하며, 이는 퍼소나 기여도를 0, 부분적, 또는 전면적 수준으로 조절할 수 있게 한다.

실험 결과

연구 질문

• RQ1 프리트레인 기반 대화 모델이 퍼소나가 드문 실제 대화 데이터에서 미세조정되었을 때, 퍼소나 일관성 있는 응답을 효과적으로 학습할 수 있는가?
• RQ2 디코딩 과정에서 퍼소나 특징의 기여도를 어떻게 동적으로 균형 잡을 수 있는가? 이는 퍼소나 정보의 과도한 또는 부족한 활용을 방지하기 위함이다.
• RQ3 제안된 어텐션 라우팅 메커니즘이 고정 가중치 또는 어텐션 전용 기반 모델 대비 응답의 유창성과 퍼소나 일관성 면에서 향상되는가?
• RQ4 퍼소나가 거의 언급되지 않는 실제 대화 패턴으로 일반화할 수 있는가? 특히 퍼소나가 풍부한 데이터 분포에 과적합하지 않는가?

주요 결과

• 제안된 모델은 랜덤 및 편향된 테스트 세트에서 모두 모든 베이스라인보다 퍼소나 일관성 면에서 뚜렷한 우월성을 보이며, 편향된 테스트 세트에서 인간 평가 시 1.248점(2위 기준 1.198점)을 기록했다.
• 모델가 퍼소나 제어를 완전히 적용한 경우(α = 1), 무작위 테스트 세트에서 인간이 생성한 응답보다도 더 높은 퍼소나 일관성 점수를 기록하여 퍼소나 통합 능력이 뛰어나다는 것을 보여준다.
• 모델는 높은 유창성과 일관성을 유지하며, 자동 평가에서 ROUGE-L 점수 1.912를 기록했고, 다음 베이스라인(1.875)을 초월했으며 인간 수준 성능(1.928)에 근접했다.
• 동적 가중치 메커니즘은 퍼소나 일관성과 응답 유창성 간의 트레이드오프를 효과적으로 완화했으며, 기존 베이스라인에서 관찰된 고도의 퍼소나 일관성이 유창성에 악영향을 주는 현상은 줄였다.
• α = 0(퍼소나 없음)인 모델은 퍼소나 관련성이 낮지만 여전히 자연스럽고 맥락에 부합하는 응답을 생성하여 제어 메커니즘의 유연성을 입증했다.
• 노이즈가 많은 퍼소나가 풍부한 데이터(예: TTransfo+P)로 미세조정된 경우에도 제안된 모델는 여전히 이러한 베이스라인을 뛰어넘었으며, 동적 어텐션 라우팅의 강건성을 입증했다.