[논문 리뷰] BoB: BERT Over BERT for Training Persona-based Dialogue Models from Limited Personalized Data

Haoyu Song, Yan Wang외 3명|arXiv (Cornell University)|2021. 06. 11.

Topic Modeling참고 문헌 36인용 수 14

한 줄 요약

이 논문은 대화 기반 성격(persona-based) 생성을 응답 생성과 성격 일관성 이해로 분리하는 BERT-over-BERT 모델인 BoB을 제안한다. 양방향 디코더에서 비우확률(unnlikelihood) 학습 목적함수를 사용하여 대규모 비대화 데이터를 활용함으로써, 제한된 개인화된 대화 데이터 조건에서도 성격 일관성이 크게 향상되며, 자동 평가 및 인간 평가 모두에서 강력한 기준 모델들을 능가한다.

ABSTRACT

Maintaining consistent personas is essential for dialogue agents. Although tremendous advancements have been brought, the limited-scale of annotated persona-dense data are still barriers towards training robust and consistent persona-based dialogue models. In this work, we show how the challenges can be addressed by disentangling persona-based dialogue generation into two sub-tasks with a novel BERT-over-BERT (BoB) model. Specifically, the model consists of a BERT-based encoder and two BERT-based decoders, where one decoder is for response generation, and another is for consistency understanding. In particular, to learn the ability of consistency understanding from large-scale non-dialogue inference data, we train the second decoder in an unlikelihood manner. Under different limited data settings, both automatic and human evaluations demonstrate that the proposed model outperforms strong baselines in response quality and persona consistency.

연구 동기 및 목표

• 제한된 개인화된 대화 데이터만 존재할 때도 강력한 성격 기반 대화 모델을 훈련하는 데 도전하는 것.
• 저자원 환경에서 자주 손상되는 성격 일관성을 향상시키는 것.
• 대화 밀도가 높은 데이터에만 의존하지 않고, 비대화 추론 데이터를 활용해 일관성 이해를 사전 훈련하는 가능성 탐색.
• 대화 생성과 일관성 이해를 두 가지 하위 작업으로 분리하여 모델의 전문화도 향상 및 데이터 효율성 확보.
• 비우확률 학습을 추론 데이터에 적용하면 모델이 일관되지 않은 응답을 거부하는 능력이 향상됨을 입증하는 것.

제안 방법

• 모델은 BERT 기반 인코더와 두 개의 BERT 기반 디코더를 사용한다: 응답 생성을 위한 순차적 디코더(D₁)와 일관성 이해를 위한 양방향 디코더(D₂).
• 응답 생성 디코더(D₁)는 대화 맥락과 성격을 조건으로 하여 응답의 초안 표현을 생성한다.
• 일관성 이해 디코더(D₂)는 응답 표현과 성격을 입력으로 받아 응답이 일관성 있는지 예측하며, 모순적인 출력을 방지하기 위해 비우확률 목적함수를 사용한다.
• 비우확률 목적함수는 SNLI 및 MNLI 데이터셋에서 추론 데이터를 활용해 사전 훈련 단계에서 적용되어, 일관되지 않은 응답을 거부하는 능력을 학습시킨다.
• 모든 구성 요소는 사전 훈련된 BERT에서 초기화되며, 전체 모델은 제한된 성격 집약형 대화 데이터에서 미세조정된다.
• 모델은 엔드 투 엔드로 훈련되며, D₂는 대화 애너테이션 없이도 일관성 이해를 학습하기 위해 비대화 추론 데이터에서 별도로 훈련된다.

실험 결과

연구 질문

• RQ1 성격 기반 대화를 응답 생성과 일관성 이해로 분리하면 저자원 환경에서 모델 성능 향상에 기여하는가?
• RQ2 비대화가 아닌 추론 데이터에 대해 비우확률 학습을 적용하면 모델이 일관되지 않은 성격 기반 응답을 탐지하는 능력이 효과적으로 향상되는가?
• RQ3 대규모 추론 데이터에서의 사전 훈련이 대규모 성격 집약형 대화 데이터 부족을 상쇄할 수 있는가?
• RQ4 전용 일관성 디코더의 포함 여부가 응답 품질과 일관성 지표에 어떤 영향을 미치는가?
• RQ5 BERT 초기화 외에 BoB 아키텍처 자체가 낮은 퍼플렉서티와 일관성 향상에 기여하는 정도는 어느 정도인가?

주요 결과

• BoB 모델은 전체 PersonaChat 데이터셋에서 성격 일관성 점수(Per.C.)로 0.60을 기록하여 기준 모델인 GPT-2를 크게 앞선다.
• 비우확률 목적함수를 제거한 경우(w/o UL) 성격 일관성 점수는 0.48로 감소하여, 비우확률 학습이 일관성 이해에 필수적임을 입증한다.
• 두 디코더와 비우확률 학습을 모두 적용한 모델은 PersonaChat에서 PPL 7.8을 기록했으며, 순수 BERT 기준 모델의 25.7 PPL보다 뚜렷이 낮다.
• 제거 실험 결과, 양방향 디코더(D₂)가 낮은 퍼플렉서티에 가장 큰 기여를 하며, 이는 응답 생성 품질 향상에서의 핵심적 역할을 시사한다.
• 인간 평가 결과, BoB는 강력한 기준 모델들보다 더 일관되고 맥락에 부합하는 응답을 생성함을 확인했으며, 특히 성격 일관성 유지 측면에서 뛰어난 성능을 보였다.
• 모델은 성격 집약형 및 성격 희박한 설정 모두에서 잘 일반화되며, 데이터 부족 상황에서도 뛰어난 내재적 저항성을 보였다.