[논문 리뷰] CoMAE: A Multi-factor Hierarchical Framework for Empathetic Response Generation

Chujie Zheng, Yong Liu외 3명|arXiv (Cornell University)|2021. 05. 18.

Topic Modeling참고 문헌 39인용 수 7

한 줄 요약

이 논문은 의사소통 메커니즘, 대화 행위, 정서를 구조적이고 종속성 기반의 계층적 구조로 모델링하는 다인자 계층적 프레임워크인 CoMAE를 제안한다. GPT-2 기반 아키텍처를 통해 이러한 요소들을 통합함으로써 응답의 공감 능력을 크게 향상시켰으며, 자동 평가 및 수동 평가 모두에서 최신 기준 성능을 달성하였다. 계층적 모델링은 정확한 요소 선택과 실현에 필수적임을 입증하였다.

ABSTRACT

The capacity of empathy is crucial to the success of open-domain dialog systems. Due to its nature of multi-dimensionality, there are various factors that relate to empathy expression, such as communication mechanism, dialog act and emotion. However, existing methods for empathetic response generation usually either consider only one empathy factor or ignore the hierarchical relationships between different factors, leading to a weak ability of empathy modeling. In this paper, we propose a multi-factor hierarchical framework, CoMAE, for empathetic response generation, which models the above three key factors of empathy expression in a hierarchical way. We show experimentally that our CoMAE-based model can generate more empathetic responses than previous methods. We also highlight the importance of hierarchical modeling of different factors through both the empirical analysis on a real-life corpus and the extensive experiments. Our codes and used data are available at https://github.com/chujiezheng/CoMAE.

연구 동기 및 목표

• 기존 공감 응답 생성 모델이 공감 요소를 독립적으로 다루는 데에 한계가 있음을 해결하기 위해.
• 의사소통 메커니즘, 대화 행위, 정서와 같은 다차원적 공감 성격을 통합된 계층적 프레임워크 내에서 모델링하기 위해.
• 계층적 모델링이 공감 요소 선택 및 실현 향상에 필수적임을 경험적으로 검증하기 위해.
• GPT-2 기반으로 CoMAE 기반 모델을 개발하여 더 공감적이고 논리적이며 맥락에 적절한 응답을 생성하기 위해.
• 공감 요소 간의 계층적 종속성이 독립적 또는 평면적 모델링보다 더 높은 성능을 낳는지 입증하기 위해.

제안 방법

• CoMAE는 실제 언어적 종속성을 반영하는 계층적 종속성 구조를 취한다: 의사소통 메커니즘(CM) → 대화 행위(DA) → 정서(EM).
• 각 공감 요소가 계층 내 이전 요소에 조건화되고 예측되는 다중 작업 학습 설정을 사용한다.
• GPT-2 기반 디코더는 CM, DA, EM의 계층적 임베딩에 조건화된 응답을 생성하며, 응답 내 모든 토큰에 동일하게 적용되는 공유된 CoMAE 임베딩을 활용한다.
• 입력 맥락에서 CM, DA, EM을 예측하기 위한 별도의 분류기들을 도입하여 요소 인식 기반의 응답 생성을 가능하게 한다.
• 조건부 종속성에 의해 계층적 모델링을 강제한다: CM이 DA에 영향을 주며, DA가 EM에 영향을 준다. 이는 모순되거나 비일관된 요소 조합을 줄인다.
• 요소 예측 및 응답 생성을 모두 지원하며, Reddit 기반 공감 대화 코퍼스를 대상으로 자동 및 수동 평가를 수행한다.

실험 결과

연구 질문

• RQ1 계층적 모델링(즉, CM → DA → EM)이 독립적 또는 평면적 모델링보다 더 나은 응답 생성 성능을 낳는가?
• RQ2 의사소통 메커니즘, 대화 행위, 정서의 통합이 생성된 응답의 공감성과 논리성 향상에 기여하는가?
• RQ3 계층적 종속성이 공감 요소 예측 정확도 및 생성된 응답 내 요소 실현에 어떤 영향을 미치는가?
• RQ4 제안된 CoMAE 프레임워크가 자동 평가 및 수동 평가에서 기존 방법보다 얼마나 뛰어난가?
• RQ5 공감 요소의 계층적 구조와 모델 성능 향상 간에 유의미한 상관관계가 존재하는가?

주요 결과

• 모든 세 가지 공감 요소를 계층적으로 모델링할 경우 CoMAE 기반 모델이 가장 높은 자동 평가 점수(70.7 for CM, 76.2 for DA, 72.6 for EM)를 기록하였다.
• 계층적 모델링은 공감 요소 실현을 크게 향상시켰으며, 부호 검정에서 p값 < 0.00001로 통계적으로 우수한 성과를 보였다.
• 수동 평가 결과, CoMAE로 생성된 응답은 이전 방법보다 더 공감적이고 몰입감 있었으며, 특히 다수의 공감 요소를 통합했을 때 두드러진 성능 향상을 보였다.
• 모델는 요소 예측 정확도가 향상되었고, 특히 CM → DA → EM 종속성 구조를 강제했을 때 예측된 요소와 실현된 요소 간의 일치도가 높아졌다.
• 사례 연구 결과, 계층적 모델링이 정서 및 의사소통 스타일의 더 자연스럽고 맥락에 적절한 표현을 가능하게 했으며, 예를 들어 정서 반응과 해석을 결합하는 데에 유리함을 보였다.
• 프레임워크는 독립적 모델링(CM || DA || EM)이 최적의 성능을 내지 못하고, 계층적 모델링(CM → DA → EM)이 일관되고 맥락에 부합하는 공감 표현을 가능하게 함을 드러냈다.