[논문 리뷰] Improving Multi-turn Emotional Support Dialogue Generation with Lookahead Strategy Planning

Yi Cheng, Wenge Liu외 6명|arXiv (Cornell University)|2022. 10. 09.

Speech and dialogue systems인용 수 4

한 줄 요약

이 논문은 장기적 영향을 고려한 전략 계획을 위해 A*-유사한 미리보는 휴리스틱을 사용하는 멀티턴 정서적 지지 대화 시스템인 MultiESC를 제안한다. 동시에 미묘한 정서 표현과 정서 원인을 통해 사용자 상태를 동적으로 모델링한다. 응답 품질과 전략 계획 모두에서 강력한 베이스라인을 크게 능가하며, 정서적 지지 대화에서 사전 계획된 전략 선택의 효과성을 입증한다.

ABSTRACT

Providing Emotional Support (ES) to soothe people in emotional distress is an essential capability in social interactions. Most existing researches on building ES conversation systems only considered single-turn interactions with users, which was over-simplified. In comparison, multi-turn ES conversation systems can provide ES more effectively, but face several new technical challenges, including: (1) how to adopt appropriate support strategies to achieve the long-term dialogue goal of comforting the user's emotion; (2) how to dynamically model the user's state. In this paper, we propose a novel system MultiESC to address these issues. For strategy planning, drawing inspiration from the A* search algorithm, we propose lookahead heuristics to estimate the future user feedback after using particular strategies, which helps to select strategies that can lead to the best long-term effects. For user state modeling, MultiESC focuses on capturing users' subtle emotional expressions and understanding their emotion causes. Extensive experiments show that MultiESC significantly outperforms competitive baselines in both dialogue generation and strategy planning. Our codes are available at https://github.com/lwgkzl/MultiESC.

연구 동기 및 목표

• 단일턴 정서적 지지 대화 시스템의 한계를 해결하기 위해 전략 계획 기반의 멀티턴 상호작용을 가능하게 하기 위해.
• 미리보는 휴리스틱을 통해 향후 사용자 피드백을 예측하여 장기적 정서적 지지 효과성을 향상시키기 위해.
• 미묘한 정서 표현을 포착하고 정서 원인을 식별하여 사용자 상태를 동적으로 모델링하기 위해.
• 질문 이후 위로 제공 등의 심리학적 지지 절차와 일치하는 시스템 개발을 위해.
• 사전 계획된 전략 선택이 대화 품질과 지지 효능을 모두 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 지원 전략 시퀀스를 적용한 후 예상되는 향후 사용자 피드백을 추정하기 위해 A*-유사한 전략 계획 휴리스틱을 도입하기 위해.
• 미래 전략 시퀀스의 확률 분포를 예측하기 위한 전략 시퀀스 생성기 구현하기 위해.
• 주어진 전략 시퀀스에 대한 정서적 반응을 추정하기 위한 사용자 피드백 예측기 도입으로 장기적 수준의 계획 가능하게 하기 위해.
• 사용자 표현 내에서 미묘한 정서 강도 변화를 모델링하기 위해 NRC VAD 어휘집 통합하기 위해.
• 정서 원인(예: 사회적 기각)을 식별하여 상황 이해를 심화하고 응답의 관련성 향상시키기 위해.
• 이러한 구성 요소들을 통합한 유일한 프레임워크인 MultiESC에 통합하여 전략 선택과 응답 생성을 동시에 최적화하기 위해.

실험 결과

연구 질문

• RQ1 미리보는 전략 계획이 멀티턴 대화 시스템에서 장기적 정서적 지지 효과성 향상에 기여하는가?
• RQ2 거시적 정서 탐지 외에 대화 시스템이 사용자 상태를 어떻게 동적으로 모델링할 수 있는가?
• RQ3 정서 원인 식별을 통합할 경우 생성된 응답의 관련성과 공감 능력이 향상되는가?
• RQ4 반응형 또는 탐욕적 접근에 비해 A*-유사한 휴리스틱 탐색이 전략 선택에 어떻게 향상되는가?
• RQ5 사전 계획된 전략 수립이 얼마나 효과적이고 인간 중심의 정서적 지지 응답을 이끌어내는가?

주요 결과

• MultiESC는 자동 평가 및 인간 평가 지표에서 모두 BlenderBot-Joint 및 MoEL과 같은 강력한 베이스라인을 크게 능가한다.
• 베이스라인 'w/o lookahead' 대비 피드백 점수에서 12.3%p의 절대적 향상을 달성하여 장기적 수준의 계획 수립의 가치를 입증한다.
• 제거 실험 결과, 전략 계획 품질에 뚜렷한 하락이 발생함으로써, 전략 계획 휴리스틱의 기여도가 확인된다.
• 사례 연구 결과, MultiESC는 대화 초반에 사용자 경험에 대한 사전 질문을 적극적으로 수행함으로써 심리학적 지지 절차와 일치함을 확인할 수 있었다.
• 전략 계획 또는 전략 계획 휴리스틱이 없는 변형 대비 더 공감 능력이 뛰어나고 맥락적으로 일관된 응답을 생성한다.
• 6개 이상의 전략 시퀀스를 고려할 경우 성능 포화 현상이 발생함을 확인하여, 일정 깊이 이상에서는 수익 감소 현상이 나타남을 시사한다.