[논문 리뷰] ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation

Hainan Zhang, Yanyan Lan외 3명|arXiv (Cornell University)|2019. 07. 09.

Topic Modeling참고 문헌 25인용 수 9

한 줄 요약

ReCoSa는 다중 대화 터닝 생성에서 모든 컨텍스트를 동일하게 취급하는 계층적 RNN의 한계를 해결하기 위해 자기주의(self-attention) 기반 모델을 제안한다. 컨텍스트와 응답 표현을 업데이트하기 위해 자기주의를 적용하고, 컨텍스트-응답 주의 가중치를 계산함으로써 ReCoSa는 응답의 관련성과 다양성을 크게 향상시켰으며, 인간 평가 및 주의 해석 가능성과 함께 중국어 및 영어 데이터셋에서 HRED 및 주의 보강 기반 베이스라인보다 뛰어난 성능을 보였다.

ABSTRACT

In multi-turn dialogue generation, response is usually related with only a few contexts. Therefore, an ideal model should be able to detect these relevant contexts and produce a suitable response accordingly. However, the widely used hierarchical recurrent encoderdecoder models just treat all the contexts indiscriminately, which may hurt the following response generation process. Some researchers try to use the cosine similarity or the traditional attention mechanism to find the relevant contexts, but they suffer from either insufficient relevance assumption or position bias problem. In this paper, we propose a new model, named ReCoSa, to tackle this problem. Firstly, a word level LSTM encoder is conducted to obtain the initial representation of each context. Then, the self-attention mechanism is utilized to update both the context and masked response representation. Finally, the attention weights between each context and response representations are computed and used in the further decoding process. Experimental results on both Chinese customer services dataset and English Ubuntu dialogue dataset show that ReCoSa significantly outperforms baseline models, in terms of both metric-based and human evaluations. Further analysis on attention shows that the detected relevant contexts by ReCoSa are highly coherent with human's understanding, validating the correctness and interpretability of ReCoSa.

연구 동기 및 목표

• 모델이 모든 컨텍스트를 동일하게 취급함으로써 노이즈가 발생하고 응답 품질이 떨어지는 다중 대화 터닝 생성 문제를 해결하기 위해.
• 코사인 유사도 및 전통적 주의 메커니즘의 한계를 극복하기 위해, 관련성 가정이 부족하거나 위치 편향이 발생하는 문제를 해결하기 위해.
• 가장 관련성이 높은 컨텍스트만 정확히 탐지하고 집중함으로써 응답 생성을 향상시키기 위해.
• 자기주의가 RNN 기반 접근 방식보다 대화 역사에서 장거리 의존성을 더 잘 모델링할 수 있음을 검증하기 위해.

제안 방법

• 대화 이력 내 각 컨텍스트에 대한 초기 표현을 생성하기 위해 단어 수준의 LSTM 인코더를 사용한다.
• 컨텍스트 시퀀스와 마스크된 응답에 대해 각각 자기주의를 적용하여 표현을 정교화한다.
• 업데이트된 표현을 바탕으로 컨텍스트-응답 주의 가중치를 계산하여 관련성 점수를 산정한다.
• 디코더는 가중치가 적용된 컨텍스트 표현을 사용하여 최종 응답을 생성하며, 관련 있는 입력에만 집중한다.
• 다중 헤드 자기주의를 활용하여 서로 다른 주의 헤드에서 다양한 장거리 의존성을 포착한다.
• 정답 응답의 가능도를 최대화함으로써 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 자기주의는 거리나 유사도 히우리스틱에 의존하지 않고 다중 대화에서 관련 컨텍스트를 효과적으로 탐지할 수 있는가?
• RQ2 ReCoSa는 HRED 및 HRED 변형 모델보다 응답 생성 품질과 관련성에서 뛰어나게 성능을 내는가?
• RQ3 주의 가중치는 인간이 평가한 관련성 판단과 얼마나 잘 상관되는가?
• RQ4 ReCoSa는 관련 컨텍스트가 가장 최근가 아닌 경우에도 이를 처리할 수 있는가, 즉 위치 편향을 피할 수 있는가?

주요 결과

• 자동 평가 지표에서 ReCoSa는 중국어 고객 서비스 및 영어 Ubuntu 대화 데이터셋에서 모두 HRED 및 HRED-with-attention 기반 베이스라인 모델보다 뚜렷하게 뛰어난 성능을 보였다.
• 인간 평가 결과 ReCoSa가 베이스라인 대비 더 다양한 응답과 더 적절한 맥락 기반 응답을 생성함을 확인하였다.
• 주의 히트맵 분석 결과 ReCoSa가 예시1에서 컨텍스트1과 컨텍스트3, 예시2에서 컨텍스트2를 정확히 관련 컨텍스트로 식별함을 확인하였으며, 인간의 판단과 일치하였다.
• ReCoSa가 RNN 기반 주의 모델과 달리, 관련 컨텍스트가 응답에 인접하지 않은 경우에도 장거리 의존성을 효과적으로 포착함을 입증하였다.
• 모델의 다중 헤드 주의 메커니즘은 각 헤드가 서로 다른 유형의 컨텍스트-응답 관계에 특화되어 있음을 드러내어 설명 가능성 향상을 이룩하였다.