[논문 리뷰] Thinking Globally, Acting Locally: Distantly Supervised Global-to-Local Knowledge Selection for Background Based Conversation

Pengjie Ren, Zhumin Chen외 3명|arXiv (Cornell University)|2019. 08. 26.

Topic Modeling참고 문헌 44인용 수 7

한 줄 요약

이 논문은 배경 기반 대화에서 전반적인 지식 조각을 먼저 식별한 후 국소적 토큰 수준의 선택을 이끌어내는 Global-to-Local Knowledge Selection (GLKS) 메커니즘을 제안한다. 주제 전이 벡터를 통해 전반적으로 관련성이 높은 지식 조각을 식별함으로써 응답 생성을 향상시킨다. 이 방법은 추가 애너테이션 없이도 원거리 지도 학습을 사용하여 글로벌 모듈을 훈련시키며, 최신 기술 대비 자동 평가 및 인간 평가 지표를 크게 향상시킨다.

ABSTRACT

Background Based Conversations (BBCs) have been introduced to help conversational systems avoid generating overly generic responses. In a BBC, the conversation is grounded in a knowledge source. A key challenge in BBCs is Knowledge Selection (KS): given a conversational context, try to find the appropriate background knowledge (a text fragment containing related facts or comments, etc.) based on which to generate the next response. Previous work addresses KS by employing attention and/or pointer mechanisms. These mechanisms use a local perspective, i.e., they select a token at a time based solely on the current decoding state. We argue for the adoption of a global perspective, i.e., pre-selecting some text fragments from the background knowledge that could help determine the topic of the next response. We enhance KS in BBCs by introducing a Global-to-Local Knowledge Selection (GLKS) mechanism. Given a conversational context and background knowledge, we first learn a topic transition vector to encode the most likely text fragments to be used in the next response, which is then used to guide the local KS at each decoding timestamp. In order to effectively learn the topic transition vector, we propose a distantly supervised learning schema. Experimental results show that the GLKS model significantly outperforms state-of-the-art methods in terms of both automatic and human evaluation. More importantly, GLKS achieves this without requiring any extra annotations, which demonstrates its high degree of scalability.

연구 동기 및 목표

• 배경 기반 대화 시스템에서 모델이 국소적 지식 선택을 수행할 때 전반적인 맥락 없이 토큰 단위로 순차적으로 선택하는 데서 비롯하는 한계를 해결하기 위해.
• 다음 응답에 적합한 배경 조각을 사전에 식별하는 글로벌 시 perspect를 도입함으로써 지식 선택(KS)을 향상시키기 위해.
• 수동 애너테이션을 요구하지 않고도 글로벌 지식 선택 모듈을 스케일러블하게 훈련시킬 수 있는 방법을 개발하기 위해.
• 글로벌 가이던스와 국소 디코딩을 조합하여 응답 품질을 향상시키고, 조기 또는 일관성 없는 지식 선택으로 인한 오류를 줄이기 위해.

제안 방법

• GLKS 프레임워크는 다음 응답에 가장 관련성이 높은 배경 조각을 나타내는 주제 전이 벡터를 학습하는 글로벌 지식 선택(GKS) 모듈로 구성된다.
• 주제 전이 벡터는 각 디코딩 단계에서 국소 지식 선택(LKS) 모듈을 이끌어내며, 이로 인해 응답의 일관성과 정확도가 향상된다.
• 원거리 지도 학습 체계를 제안하며, 참조 응답과 배경 지식 간의 재료 유사도(Jaccard similarity)를 약한 신호로 사용하여 GKS 모듈을 훈련시킨다.
• 모델은 원거리 지도 학습 신호와 국소 생성을 위한 최대가능도추정(MLE) 손실의 선형 조합을 사용하여 엔드 투 엔드로 훈련된다.
• GKS 모듈은 생성 헤드로부터 독립적으로 최적화되어, 국소 디코딩 이전에 전반적인 맥락을 학습할 수 있도록 한다.
• 최종 모델은 글로벌 및 국소 지식 선택을 엔드 투 엔드로 미분 가능한 방식으로 통합하여 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 글로벌 지식 선택 메커니즘이 배경 기반 대화 시스템에서 지식 선택의 정확성과 일관성에 기여할 수 있는가?
• RQ2 비용이 많이 드는 수동 애너테이션 없이 효과적으로 글로벌 시 perspect 를 학습할 수 있는가?
• RQ3 글로벌 가이던스와 국소 디코딩을 조합하면, 단편적인 토큰 단위 선택으로 인한 오류를 줄일 수 있는가?
• RQ4 Jaccard 유사도를 사용한 원거리 지도 학습이 글로벌 지식 선택 모듈의 성능을 얼마나 향상시키는가?

주요 결과

• GLKS 모델은 자동 평가 및 인간 평가 지표에서 최신 기술 대비 유의미하게 뛰어난 성능을 보이며, 뛰어난 지식 선택과 응답 품질을 입증한다.
• 주제 전이 벡터에서 m=4 설정이 가장 우수한 성능을 보이며, 이는 관련성이 높은 지식 조각을 효과적으로 식별함을 시사한다.
• 시각화 결과에 따르면 GLKS는 디코딩 초반에 관련 없는 배경 스펜을 선택하는 등의 잘못된 또는 일관성 없는 지식 선택을 피하고 있다.
• 원거리 지도 학습 체계는 추가 애너테이션 없이도 글로벌 모듈을 효과적으로 훈련시켜 가용성과 확장성을 향상시킨다.
• 사례 연구 결과, GLKS는 GTTP, RefNet, LKS와 비교해 더 맥락에 부합하고 자연스러운 응답을 생성함을 확인할 수 있었다. 이는 다른 모델들이 종종 관련성이 낮거나 모순되는 지식을 선택하는 경향이 있음을 시사한다.