[논문 리뷰] Generating Multiple Diverse Responses for Short-Text Conversation

Jun Gao, Wei Bi외 3명|arXiv (Cornell University)|2018. 11. 14.

Topic Modeling참고 문헌 27인용 수 7

한 줄 요약

이 논문은 강화학습 기반의 생성 모델을 제안하며, 각 응답을 해석 가능한 잠재 단어로 삼는 행동으로 다중 다양성 응답을 동시에 공동으로 모델링한다. 각 잠재 단어를 정책 네트워크의 결정으로 간주함으로써, 이 모델은 높은 품질의 다채로운 응답을 동시에 생성하며, Weibo와 Twitter 데이터셋에서 응답 품질과 다양성 측면에서 최신 기술을 초월한다.

ABSTRACT

Neural generative models have become popular and achieved promising performance on short-text conversation tasks. They are generally trained to build a 1-to-1 mapping from the input post to its output response. However, a given post is often associated with multiple replies simultaneously in real applications. Previous research on this task mainly focuses on improving the relevance and informativeness of the top one generated response for each post. Very few works study generating multiple accurate and diverse responses for the same post. In this paper, we propose a novel response generation model, which considers a set of responses jointly and generates multiple diverse responses simultaneously. A reinforcement learning algorithm is designed to solve our model. Experiments on two short-text conversation tasks validate that the multiple responses generated by our model obtain higher quality and larger diversity compared with various state-of-the-art generative models.

연구 동기 및 목표

• 기존 신경망 생성 모델이 입력 포스트 하나당 하나의 응답만 생성하는 데에 한계가 있음에도 불구하고, 실제 대화는 다수의 응답을 포함한다는 점을 해결하기 위해.
• 포스트와 그에 따른 응답 집합을 공동으로 모델링하여, 응답 간 다양성과 맥락적 관련성을 포착하기 위해.
• 해석 가능한 단어로 구성된 큰 잠재 공간을 제어 신호로 사용하여 다수의 다채로운 응답을 동시에 생성할 수 있도록 하기 위해.
• 큰 잠재 공간에서 정확한 기울기 계산이 계산적으로 불가능한 점을 보완하기 위해 강화학습 프레임워크를 도입하기 위해.
• 기존의 빔 서치 및 변동형 오토인코더 기반 접근법을 뛰어넘어 응답 품질과 다양성을 동시에 향상시키기 위해.

제안 방법

• 모델은 입력 포스트마다 잠재 변수 분포를 도입하며, 각 샘플은 어휘집의 특정 단어에 해당하여 응답 생성을 위한 제어 신호로 기능한다.
• 잠재 단어 추론 네트워크는 주어진 포스트에 대해 어휘집 전체 단어에 대한 확률 분포를 추정함으로써 다양한 샘플링을 가능하게 한다.
• 각 샘플된 잠재 단어는 생성 네트워크의 조건부 입력으로 사용되며, 이는 포스트와 선택된 단어에 조건화된 응답을 생성한다.
• 강화학습 알고리즘은 응답의 품질과 다양성을 함께 평가하는 통합 보상 신호를 최대화함으로써 정책 네트워크를 최적화한다.
• 학습은 다양한 의미 클러스터에서 잠재 단어를 선택함으로써 다양성을 촉진하는 샘플링 전략을 사용하여 수렴성과 응답 다양성을 향상시킨다.
• 보상 함수는 입력 포스트에 대한 관련성과 생성된 응답 간 다양성 간의 균형을 고려하도록 설계되었으며, 전체 잠재 공간에 대한 정확한 기울기 계산에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 일반적으로 응답을 독립적인 출력으로 다루는 것과는 달리, 생성 모델이 하나의 입력 포스트에 대해 다수의 다양한 응답을 공동으로 학습할 수 있는가?
• RQ2 과도한 계산 비용 없이, 해석 가능한 단어로 구성된 큰 잠재 공간을 효과적으로 활용하여 응답 다양성을 제어할 수 있는가?
• RQ3 단어 수준의 행동을 사용하는 강화학습이 짧은 텍스트 대화에서 고품질의 다양한 응답을 생성하는 데 있어 기존 방법을 능가할 수 있는가?
• RQ4 선택된 잠재 단어들이 생성된 응답의 내용과 의미와 얼마나 관련이 있는가?
• RQ5 여러 응답을 동시에 공동으로 모델링하는 것이, 독립적으로 응답을 생성하거나 재순서 정렬을 통해 처리하는 방법보다 성능이 뛰어나게 되는가?

주요 결과

• 인간 평가에서 Twitter 데이터셋에서 Ours(Min)는 MMI보다 70% 높은 양호 비율, MultiMech보다 126% 높은 양호 비율을 기록하여 뛰어난 응답 품질과 다양성을 입증했다.
• Twitter 데이터셋에서 Ours(Min)는 BLEU 및 distinct-1/2를 포함한 모든 자동 평가 지표에서 모든 기준선을 앞서며, 특히 더 큰 잠재 공간을 사용할수록 성능 향상이 두드러졌다.
• 작은 잠재 공간(예: 1,000단어)을 사용할 경우 성능이 크게 떨어졌으며, 이는 효과적인 다양성과 품질 확보를 위해 큰 어휘집이 필수적임을 확인했다.
• 학습 중 보상 값이 에포크가 진행되면서 안정적으로 증가함에 따라, 강화학습 정책이 시간이 지남에 따라 성능을 향상시키며 더 나은 잠재 단어 분포를 학습함을 확인했다.
• 어텐션 시각화 결과, 선택된 잠재 단어들이 입력 포스트의 핵심 단어와 높은 일치도를 보였으며, 이는 모델이 의미 있고 맥락 인식 가능한 제어 신호를 학습하고 있음을 확인했다.
• 이 방법은 의미적으로 구분되며 맥락적으로 관련된 응답을 생성하였으며, 다른 응답들이 입력의 서로 다른 측면에 집중함으로써 고정 메커니즘 또는 빔 서치에 의존하는 모델들과는 다릅니다.