[논문 리뷰] Towards Empathetic Open-domain Conversation Models: a New Benchmark and Dataset

Hannah Rashkin, Eric M. Smith외 2명|arXiv (Cornell University)|2018. 10. 31.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 25,000개의 정서적으로 기반을 둔 대화로 구성된 새로운 벤치마크 데이터셋인 EmpatheticDialogues를 소개하며, 이 데이터를 사용한 미세조정 또는 검색 기반 적응 전략이 개방형 대화 모델의 공감 능력을 크게 향상시킨다는 것을 보여준다. 인간 평가 결과, 일반 인터넷 대화 데이터만으로 훈련된 모델에 비해 이 데이터셋을 기반으로 훈련하거나 적응시킨 모델가 생성하는 응답은 더 공감적으로 평가된다.

ABSTRACT

One challenge for dialogue agents is recognizing feelings in the conversation partner and replying accordingly, a key communicative skill. While it is straightforward for humans to recognize and acknowledge others' feelings in a conversation, this is a significant challenge for AI systems due to the paucity of suitable publicly-available datasets for training and evaluation. This work proposes a new benchmark for empathetic dialogue generation and EmpatheticDialogues, a novel dataset of 25k conversations grounded in emotional situations. Our experiments indicate that dialogue models that use our dataset are perceived to be more empathetic by human evaluators, compared to models merely trained on large-scale Internet conversation data. We also present empirical comparisons of dialogue model adaptations for empathetic responding, leveraging existing models or datasets without requiring lengthy re-training of the full model.

연구 동기 및 목표

• 공감 대화 시스템을 훈련하고 평가하기 위한 공개된 데이터셋 부족 문제를 해결하기 위해.
• 모델이 대화 중 정서 상태를 인식하고 적절히 반응할 수 있는 능력을 측정할 수 있는 벤치마크를 개발하기 위해.
• 새로운 정서적으로 기반을 둔 데이터셋을 사용해 기존의 대규모 대화 모델의 공감 능력을 향상시키기 위해.
• 전체 재학습 없이도 효율적인 적응 전략(예: 검색 및 미세조정)을 탐색하기 위해.

제안 방법

• 특정 정서(예: 두려움, 자랑스러움)와 관련된 개인적 경험을 묘사하는 1:1 대화 25,000개를 컨소시엄 방식으로 수집하였다.
• 각 대화에는 레이블이 부여된 정서와 상황적 맥락이 포함되어 있어 실제 생활 상황에서 정서가 기반을 이루도록 보장된다.
• 두 가지 적응 전략을 제안하였다: 추론 시점에 데이터셋의 발언을 검색 후보로 사용하고, 사전 훈련된 생성 모델을 이 데이터셋으로 미세조정하는 것이다.
• BERT 기반 모델의 공감 능력을 햖थ기 위해 입력 시퀀스 앞에 정서 또는 주제 예측을 추가하는 외부 감독을 탐색하였다.
• 자동 평가 지표(BLEU, P@1, P@100)와 인간 평가(공감 점수 포함)를 모두 사용해 모델을 평가하였다.
• 다양한 설정에서 모델 성능을 비교하였다: Reddit 대비 EmpatheticDialogues 기반 후보를 사용한 검색 기반 모델, 그리고 미세조정 여부에 따른 모델 비교.

실험 결과

연구 질문

• RQ1 대규모 정서적으로 기반을 둔 대화 데이터셋은 개방형 대화 모델의 공감 능력을 향상시킬 수 있는가?
• RQ2 EmpatheticDialogues 데이터셋으로 미세조정하면 일반 인터넷 대화 데이터만으로 훈련된 모델에 비해 더 공감적인 응답을 생성하는가?
• RQ3 이 데이터셋의 발언을 사용한 검색 기반 적응 전략은 전체 재학습 없이도 공감 능력을 향상시킬 수 있는가?
• RQ4 정서 또는 주제 예측을 통한 외부 감독은 고용량 모델의 공감 능력에 어떤 영향을 미치는가?
• RQ5 EmpatheticDialogues로 미세조정한 모델의 성능은 DailyDialog나 Reddit과 같은 다른 대화 데이터셋으로 일반화되는가?

주요 결과

• 인간 평가자들은 EmpatheticDialogues로 미세조정한 모델의 응답이 Reddit이나 일반 인터넷 데이터만으로 훈련된 모델보다 유의미하게 더 공감적으로 평가했다.
• EmpatheticDialogues를 검색 후보 풀로 사용함으로써 기존의 Reddit 기반 검색 모델 대비 공감 점수와 BLEU 점수가 향상되었다.
• EmpatheticDialogues 테스트 세트에서 이 데이터셋으로 미세조정한 모델은 P@1 점수를 12–14% 향상시켰으며, DailyDialog에서는 5–7% 향상되었고, Reddit에서는 2–3% 감소했다.
• BERT 기반 모델에 정서 또는 주제 예측을 앞에 추가함으로써 공감 점수 향상이 이루어졌으며, 특히 더 큰 모델에서는 특히 뚜렷했고, 일부 경우 인간 수준의 성능에 가까워졌다.
• 최소한의 계산 자원 소모로도 성과를 달성하여, 전체 재학습 없이도 효율적인 적응 전략이 가능함을 보여주었다.
• 이 데이터셋은 양면적으로 잘 일반화된다: 미세조정된 모델은 DailyDialog에서도 성능 향상을 보였으며, 이는 다른 대화 작업으로의 전이 가능성(transferability)을 시사한다.