[논문 리뷰] CDL: Curriculum Dual Learning for Emotion-Controllable Response Generation

Lei Shen, Yang Feng|arXiv (Cornell University)|2020. 05. 01.

Topic Modeling참고 문헌 47인용 수 12

한 줄 요약

이 논문은 이중 학습과 커리큘럼 학습을 활용하여 응답 및 질의 생성 모델을 번갈아가며 훈련하는 새로운 프레임워크인 Curriculum Dual Learning(CDL)을 제안한다. 이중 보상으로 감정 표현과 콘텐츠 일관성을 동시에 최적화함으로써, CDL는 강력한 기준 모델들에 비해 응답의 일관성, 다양성 및 감정 정확도를 크게 향상시켰으며, 특히 안전한 응답을 줄이는 데서 두드러진 성능을 보였다.

ABSTRACT

Emotion-controllable response generation is an attractive and valuable task that aims to make open-domain conversations more empathetic and engaging. Existing methods mainly enhance the emotion expression by adding regularization terms to standard cross-entropy loss and thus influence the training process. However, due to the lack of further consideration of content consistency, the common problem of response generation tasks, safe response, is intensified. Besides, query emotions that can help model the relationship between query and response are simply ignored in previous models, which would further hurt the coherence. To alleviate these problems, we propose a novel framework named Curriculum Dual Learning (CDL) which extends the emotion-controllable response generation to a dual task to generate emotional responses and emotional queries alternatively. CDL utilizes two rewards focusing on emotion and content to improve the duality. Additionally, it applies curriculum learning to gradually generate high-quality responses based on the difficulties of expressing various emotions. Experimental results show that CDL significantly outperforms the baselines in terms of coherence, diversity, and relation to emotion factors.

연구 동기 및 목표

• 감정 특화 패턴에 과도하게 의존함으로써 일반적이고 저품질의 응답을 생성하는 감정 제어 가능 대화 생성에서의 안전한 응답 문제를 해결하기 위해.
• 질의에서 응답으로, 응답에서 질의로의 생성 간 상호 관계를 모델링하여 질의와 응답 간 콘텐츠 일관성을 향상시키기 위해.
• 감정 분류 및 감정어 비율을 피드백 신호로 활용하여 명시적 및 암묵적 감정 표현을 향상시키기 위해.
• 감정 표현의 난이도 차이를 체계적으로 다루기 위해 이중 학습 프레임워크에 커리큘럼 학습을 통합하기 위해.
• 병렬 데이터에 대한 의존도를 줄이기 위해 이중 학습을 활용해 모델의 일반화 능력과 훈련 효율성을 향상시키기 위해.

제안 방법

• CDL는 감정 제어 가능 응답 생성을 이중 학습 작업으로 간주하며, 강화 학습을 통해 순방향(질의 → 응답) 및 역방향(응답 → 질의) 모델을 번갈아 훈련한다.
• 두 가지 별도의 보상이 사용된다: 감정 표현을 위한 보상(감정 분류 정확도 및 감정어 비율 기반)과 콘텐츠 일관성을 위한 보상(재구성 확률 기반).
• 감정 표현은 감정어를 통한 명시적 표현과 문장 수준의 감정 분류를 통한 암묵적 표현으로 모델링되며, 사전에 학습된 감정 분류기의 피드백을 활용한다.
• 커리큘럼 학습은 훈련 중 감정 카테고리의 난이도를 점차 높임으로써 적용되며, 먼저 표현하기 쉬운 감정부터 시작한다.
• 정책 그래เดียน트 강화 학습을 사용하여 순방향 및 역방향 모델을 함께 최적화하며, 보상 신호가 더 일관성 있고 감정적으로 정확한 응답 생성을 이끌도록 유도한다.
• 프레임워크는 노이즈가 많고 품질이 불균형한 데이터셋을 활용하며, 훈련 초반에는 품질이 높고 난이도가 낮은 샘플을 우선적으로 처리하고 점차 어려운 예제를 도입한다.

실험 결과

연구 질문

• RQ1 이중 학습은 감정 제어 가능 응답 생성에서 콘텐츠 일관성을 향상시키고 안전한 응답을 줄일 수 있는가?
• RQ2 질의 수준의 감정 정보를 통합함으로써 생성된 응답의 일관성과 감정 정확도에 어떤 영향을 미치는가?
• RQ3 커리큘럼 학습을 통해 모델이 다양한 감정 카테고리에서 다양하고 감정적으로 풍부한 응답을 생성하는 능력은 어느 정도 향상되는가?
• RQ4 이중 학습과 커리큘럼 학습을 결합하면 단독으로 사용할 경우보다 더 나은 성능을 낼 수 있는가?
• RQ5 명시적 및 암묵적 감정 표현은 별도의 보상 신호를 사용해 효과적으로 모델링하고 최적화할 수 있는가?

주요 결과

• 자동 평가에서 CDL는 BLEU, ROUGE 및 distinct-1/2 점수 모두에서 강력한 기준 모델들을 뛰어넘어 응답의 다양성과 유창성을 향상시켰다.
• 인간 평가 결과, CDL는 기준 모델들보다 더 일관성 있고 감정적으로 정확하며 정보가 풍부한 응답을 생성하는 것으로 나타났다.
• 순방향 과정에서 '행복' 감정 카테고리에 대해 감정 분류 정확도가 81.8%를 기록했고, 역방향 과정에서는 80.8%를 기록하여 강력한 감정 일관성을 입증했다.
• 커리큘럼 학습의 적용으로 어려운 감정 카테고리인 '분노'와 '슬픔'에 대해 더 빠른 수렴과 향상된 성능을 달성했다.
• 이중 피드백를 통해 내용 중심이자 감정 인식 기반의 생성을 장려함으로써, '감사합니다' 또는 '모르겠어요'와 같은 안전한 응답의 발생 빈도를 줄였다.
• 역방향 생성 과정(응답 → 질의)에서 높은 재구성 확률을 달성하여, CDL가 생성한 응답이 원천 질의와 의미적·감정적으로 일치한다는 점을 확인했다.