[논문 리뷰] A Document-grounded Matching Network for Response Selection in Retrieval-based Chatbots

Xueliang Zhao, Chongyang Tao외 4명|arXiv (Cornell University)|2019. 06. 11.

Topic Modeling참고 문헌 23인용 수 5

한 줄 요약

이 논문은 계층적 어텐션 기반 메커니즘을 통해 대화 맥락과 외부 배경 문서를 함께 모델링함으로써 검색 기반 챗봇의 응답 선택 성능을 향상시키는 문서 기반 매칭 네트워크(DGMN)를 제안한다. DGMN는 맥락 인식 표현을 사용해 관련 문서 부분을 동적으로 식별하고, 응답을 맥락에 기반시킨다. PERSONA-CHAT에서 r@1 기준 13퍼센트 이상의 절대적 향상과 CMUDoG에서 5퍼센트 이상의 성능 향상을 달성하여 최신 기술(SOTA) 수준을 확보한다.

ABSTRACT

We present a document-grounded matching network (DGMN) for response selection that can power a knowledge-aware retrieval-based chatbot system. The challenges of building such a model lie in how to ground conversation contexts with background documents and how to recognize important information in the documents for matching. To overcome the challenges, DGMN fuses information in a document and a context into representations of each other, and dynamically determines if grounding is necessary and importance of different parts of the document and the context through hierarchical interaction with a response at the matching step. Empirical studies on two public data sets indicate that DGMN can significantly improve upon state-of-the-art methods and at the same time enjoys good interpretability.

연구 동기 및 목표

• 검색 기반 챗봇이 외부 지식, 특히 비정형 배경 문서에 기반하지 않는 점을 보완하기 위한 것이다.
• 대화 맥락과 외부 문서를 함께 모델링하여 관련성과 일관성을 향상시켜 응답 선택을 개선하기 위한 것이다.
• 매칭 과정에서 어떤 맥락이나 문서 부분이 중요하고, 언제 기반을 두어야 하는지를 동적으로 결정함으로써 해석 가능성과 성능을 향상시키기 위한 것이다.
• 계층적 어텐션 기반 메커니즘을 통해 맥락과 문서 표현을 융합하는 신경 매칭 모델을 개발하기 위한 것이다.

제안 방법

• DGMN는 대화 맥락의 발언, 문서의 문장, 응답 후보를 모두 맥락 표현으로 인코딩하기 위해 자기 어텐션(self-attention)을 사용한다.
• 어텐션 기반 메커니즘을 통해 문서 인식 맥락 표현과 맥락 인식 문서 표현을 구성함으로써 기반과 이해 능력을 모델링한다.
• 계층적 상호작용 메커니즘이 발언-응답 및 문장-응답 수준에서 매칭 신호를 계산하며, 기반의 필요성과 중요성을 동적으로 결정한다.
• 매칭 가중치는 두 수준에서 학습된다: 첫째로 발언과 문서 문장 간, 둘째로 응답 토큰과 관련 맥락/문서 부분 간.
• 최종 매칭 점수는 모든 쌍별 매칭 신호의 집계로 이루어지며, 강력하고 해석 가능한 응답 선택을 가능하게 한다.
• 모델는 대립 손실(constrastive loss)을 사용해 엔드 투 엔드로 훈련되며, 후보 중 정답 응답을 선택하도록 최적화된다.

실험 결과

연구 질문

• RQ1 검색 기반 챗봇이 외부 배경 문서를 효과적으로 응답 선택에 통합하여 관련성과 일관성을 향상시킬 수 있는가?
• RQ2 모델이 응답 매칭 과정에서 언제이고 어디서 기반을 두어야 하는지를 동적으로 결정할 수 있는 메커니즘은 무엇인가?
• RQ3 대화 맥락과 문서 내용을 함께 모델링하면 맥락 전용 모델 대비 매칭 성능이 어떻게 향상되는가?
• RQ4 다양한 문서 길이가 응답 선택 성능에 미치는 영향은 어느 정도이며, DGMN는 어떻게 다양한 문서 복잡성에 적응하는가?

주요 결과

• PERSONA-CHAT 데이터셋에서 DGMN는 트랜스포머 기반 최신 기술(SOTA) 기준보다 r@1 기준 13퍼센트 이상의 절대적 향상을 달성한다.
• CMUDoG 데이터셋에서 DGMN는 최고 성능을 보인 베이스라인 모델 대비 r@1 기준 5퍼센트 이상 향상된다.
• PERSONA-CHAT에서 짧고 긴 프로필 모두 성능 저하가 발생함을 확인하여, 프로필 길이가 정보 품질과 관련성에 영향을 준다는 것을 시사한다.
• CMUDoG에서 위키백과 기반의 더 긴 문서는 더 나은 성능을 보이며, 더 풍부한 의미적 일치가 매칭 성능을 향상시킨다는 것을 시사한다.
• 정성적 분석 결과 DGMN는 관련 문서 문장을 정확히 식별하고, 맥락-발언 간 관계를 올바르게 파악함을 확인했다. 예를 들어 '학생'이라는 단어를 '교육'과 연결하는 등.
• 어텐션 가중치의 시각화 결과 기능어와标 punctuations는 주로 자신들의 발언과 일치하는 반면, '일'이나 '교육'과 같은 내용어는 관련 문서 문장과 강한 교차 어텐션을 보였다.