[논문 리뷰] A Survey of Document Grounded Dialogue Systems (DGDS)

Longxuan Ma, Weinan Zhang외 2명|arXiv (Cornell University)|2020. 04. 17.

Topic Modeling참고 문헌 132인용 수 10

한 줄 요약

이 종합 검토는 제품 설명서나 뉴스 기사와 같은 비구조적 문서에 기반한 대화 응답을 제공하는 새로운 패러다임인 문서 기반 대화 시스템(DGDS)을 소개한다. 이 종합 검토는 아키텍처, 데이터셋, 모델, 그리고 다단계 추론 및 다대일 응답 생성과 같은 과제들을 검토하며, 지식 집약적이고 인간과 유사한 대화 시스템의 주요 미래 방향으로 DGDS를 주장한다.

ABSTRACT

Dialogue system (DS) attracts great attention from industry and academia because of its wide application prospects. Researchers usually divide the DS according to the function. However, many conversations require the DS to switch between different functions. For example, movie discussion can change from chit-chat to QA, the conversational recommendation can transform from chit-chat to recommendation, etc. Therefore, classification according to functions may not be enough to help us appreciate the current development trend. We classify the DS based on background knowledge. Specifically, study the latest DS based on the unstructured document(s). We define Document Grounded Dialogue System (DGDS) as the DS that the dialogues are centering on the given document(s). The DGDS can be used in scenarios such as talking over merchandise against product Manual, commenting on news reports, etc. We believe that extracting unstructured document(s) information is the future trend of the DS because a great amount of human knowledge lies in these document(s). The research of the DGDS not only possesses a broad application prospect but also facilitates AI to better understand human knowledge and natural language. We analyze the classification, architecture, datasets, models, and future development trends of the DGDS, hoping to help researchers in this field.

연구 동기 및 목표

• 기능적 역할이 아닌 배경 지식, 특히 비구조적 문서를 기반으로 대화 시스템을 분류하는 새로운 분류 프레임워크를 제안하기 위해.
• 문서 기반 응답 생성을 위한 아키텍처 설계, 데이터셋, 모델 아키텍처를 포함해 DGDS의 현재 상태를 분석하기 위해.
• 다단계 추론, 다대일 응답 생성, 다양한 문서 유형 간 모델 일반화와 같은 핵심 과제를 식별하기 위해.
• DGDS의 연구 추세와 향후 방향에 대한 종합적 개요를 제공하여 지식 집약적 대화 시스템의 발전을 이끄는 데 공동체를 안내하기 위해.

제안 방법

• 기능적 역할(예: 작업 중심 또는 경청용)이 아닌 배경 지식(비구조적 문서)을 기반으로 대화 시스템을 분류한다.
• 메모리 네트워크와 그래프 신경망(GNN)을 통합한 인코더-디코더 아키텍처를 검토하여 문서 증거에 대한 추론을 강화한다.
• 다중 문서 간 증거 통합과 다단계 추론을 모델링하기 위해 그래프 구조(예: HDE 그래프, KG 기반 QUEST)의 사용을 분석한다.
• 대화 정책을 안내하고 응답 품질을 햖스리기 위해 구조적 보상과 함께 강화 학습을 활용한다.
• 다중 기준 훈련과 인간 중심 평가 지표의 필요성을 제안하여 다대일 응답 생성 문제를 해결한다.
• 새로운 문서 유형과 구조에 걸쳐 지식 보존과 전이를 지원하는 생애 주기 학습 프레임워크를 주장한다.

실험 결과

연구 질문

• RQ1 배경 지식(기능적 작업이 아닌)을 기반으로 대화 시스템을 어떻게 재분류할 수 있는가?
• RQ2 문서 기반 대화 시스템에서 사용되는 핵심 아키텍처 구성 요소와 모델링 기법은 무엇인가?
• RQ3 대화에서 다단계 추론과 문서 수준 이해를 지원하는 데이터셋은 무엇인가?
• RQ4 기준 답변에 존재하지 않는 다양한 정확한 응답을 생성할 수 있는 모델은 어떻게 설계할 수 있는가(다대일 문제)?
• RQ5 생애 주기 학습 환경에서 다양한 문서 유형과 구조 간 모델 일반화를 가능하게 하는 메커니즘은 무엇인가?

주요 결과

• 문서 기반 대화 시스템(DGDS)은 비구조적 문서에 기반한 응답을 제공함으로써 더 풍부하고 지식 집약적인 대화를 가능하게 하여 대화 시스템의 유망한 미래 방향성을 나타낸다.
• GCN, GRN, HDE 그래프와 같은 그래프 기반 모델은 다중 문서 간 증거 체인을 모델링함으로써 다단계 추론 성능을 크게 향상시킨다.
• 후보자, 문서, 실체를 노드로 표현하는 GNN의 사용은 복잡한 질의 응답에 필요한 다중 분해능 증거 통합을 더 효과적으로 가능하게 한다.
• 현재의 평가 지표인 BLEU와 PPL은 다대일 응답 생성에 부적절하며, 인간의 판단과 일치하는 새로운 지표가 필요하다.
• 구조적 보상과 함께 강화 학습을 활용하면 대화 정책과 장기적 일관성을 명시적으로 모델링함으로써 응답 품질을 향상시킬 수 있다.
• 새로운 문서 유형과 구조에 걸쳐 지식 보존과 전이를 지원하는 생애 주기 학습 프레임워크는 확장 가능하고 일반화 가능한 DGDS를 위해 필수적이다.