[논문 리뷰] Modeling Multi-turn Conversation with Deep Utterance Aggregation

Zhuosheng Zhang, Jiangtong Li외 3명|arXiv (Cornell University)|2018. 06. 24.

Topic Modeling참고 문헌 41인용 수 92

한 줄 요약

본 논문은 retrieval 기반 다-turn 대화에서 Deep Utterance Aggregation (DUA) 모델을 제안하며, turns-aware aggregation과 self-matching attention을 사용해 미세한 맥락 표현을 형성하고, Ubuntu, Douban 및 새로운 E-commerce Dialogue Corpus (ECD)에서 최첨단 성능을 달성한다.

ABSTRACT

Multi-turn conversation understanding is a major challenge for building intelligent dialogue systems. This work focuses on retrieval-based response matching for multi-turn conversation whose related work simply concatenates the conversation utterances, ignoring the interactions among previous utterances for context modeling. In this paper, we formulate previous utterances into context using a proposed deep utterance aggregation model to form a fine-grained context representation. In detail, a self-matching attention is first introduced to route the vital information in each utterance. Then the model matches a response with each refined utterance and the final matching score is obtained after attentive turns aggregation. Experimental results show our model outperforms the state-of-the-art methods on three multi-turn conversation benchmarks, including a newly introduced e-commerce dialogue corpus.

연구 동기 및 목표

• 이전 발화의 단순 연결을 넘어 다중 턴 검색 기반 대화에서 향상된 컨텍스트 모델링의 필요성을 제시한다.
• 마지막 발화를 앞선 맥락과 융합하기 위한 turns-aware aggregation 메커니즘을 개발한다.
• 각 발화 내에서 중요한 정보를 self-matching attention을 통해 강조한다.
• 정제된 발화에 대해 단어 수준 및 발화 수준에서 응답을 매칭하고, 결과를 집계하여 최종 점수를 산출한다.
• 새롭게 발표된 전자상거래 대화 말뭉치를 포함한 여러 벤치마크에서 접근법을 평가하고 강력한 baselines와 비교한다.

제안 방법

• 각 발화와 응답을 단어 수준 GRU 인코더로 표현한다.
• 각 선행 발화를 마지막 발화와 융합하는 turns-aware aggregation을 적용한다(집계 방법으로는 연결(concatenation)을 선택).
• 융합된 발화 시퀀스 내의 중복 정보를 걸러내기 위해 self-matching attention을 사용한다.
• 각 발화와 응답 간의 단어 수준 및 발화 수준 매칭 매트릭스를 구성하고, 이를 CNN으로 인코딩하여 매칭 벡터를 얻는다.
• 매칭 벡터 시퀀스를 시계열 순서로 게이트 순환 유닛(GRU)으로 처리하고, GRU 출력에 대한 attention을 통해 최종 점수를 산출한다.
• 교차 엔트로피 손실(cross-entropy loss)로 모델을 학습한다.

실험 결과

연구 질문

• RQ1 turns-aware aggregation이 단순 연결을 넘어 다중 턴 검색 기반 대화의 컨텍스트 표현을 개선할 수 있는가?
• RQ2 self-matching attention이 발화 내에서 중요한 정보를 효과적으로 추출해 응답 매칭을 개선하는가?
• RQ3 제안된 Deep Utterance Aggregation (DUA)이 English Ubuntu dataset, Chinese Douban dataset, 및 새로 출시된 전자상거래 코퍼스를 포함한 다중 턴 대화 벤치마크에서 최첨단 baselines에 비해 어떤 성과를 보이는가?
• RQ4 맥락 융합(context fusion)과 매칭 어텐션 흐름(matching attention flow)의 중요성에 대한 제거 분석(ablation analyses)으로부터 어떤 시사점을 얻을 수 있는가?

주요 결과

• DUA는 세 가지 다중 턴 대화 벤치마크(Ubuntu, Douban, 및 ECD)에서 기존 모델을 능가한다.
• 모델은 ECD 데이터셋에서 이전 최첨단 대비 상당한 향상을 달성하며, SMN 대비 R10@1에서 4.8%의 이득을 포함한다.
• 제거 실험에서 Context Fusion(turns-aware aggregation)과 Matching Attention Flow 모두 중요함을 보였고, 특히 Matching Attention Flow를 제거했을 때 가장 큰 감소가 나타났다.
• 정성적 분석은 self-matching attention이 발화 및 응답의 중요한 부분을 효과적으로 식별하고 집중시켜 매칭을 안내함을 보여준다.
• 저자들은 연구 커뮤니티에 최초의 공용 전자상거래 대화 말뭉치(ECD)를 공개하여 서비스 지향 대화에서 더 폭넓은 평가를 가능하게 한다.