[논문 리뷰] Conversations with Documents. An Exploration of Document-Centered Assistance

Maartje ter Hoeve, Robert B. Sim외 4명|UvA-DARE (University of Amsterdam)|2020. 01. 27.

Topic Modeling참고 문헌 43인용 수 27

한 줄 요약

이 논문은 자연어 질의를 통해 사용자가 업무 관련 문서를 이해하고 검토하는 데 도움을 주는 대화형 AI를 중심으로 문서 중심 보조 기능을 조사한다. 새로운 문서 중심 질문 데이터셋을 제안하고, 최신 질문-답변 모델이 이 새로운 작업에 대해 합리적인 성능을 내도록 미세조정할 수 있음을 보여주며, 문서 중심 질문과 전통적인 사실 기반 QA 질문 간의 핵심 차이점을 규명한다.

ABSTRACT

The role of conversational assistants has become more prevalent in helping people increase their productivity. Document-centered assistance, for example to help an individual quickly review a document, has seen less significant progress, even though it has the potential to tremendously increase a user's productivity. This type of document-centered assistance is the focus of this paper. Our contributions are three-fold: (1) We first present a survey to understand the space of document-centered assistance and the capabilities people expect in this scenario. (2) We investigate the types of queries that users will pose while seeking assistance with documents, and show that document-centered questions form the majority of these queries. (3) We present a set of initial machine learned models that show that (a) we can accurately detect document-centered questions, and (b) we can build reasonably accurate models for answering such questions. These positive results are encouraging, and suggest that even greater results may be attained with continued study of this interesting and novel problem space. Our findings have implications for the design of intelligent systems to support task completion via natural interactions with documents.

연구 동기 및 목표

• 사용자가 문서 소비 시나리오에서 대화형 보조자에게 기대하는 능력을 이해하기 위해.
• 공저자이거나 검토 중인 문서를 다룰 때 사용자가 보조를 받기 위해 사용할 수 있는 질문 유형을 특정하기 위해.
• 새로운 문서 중심 질문 및 답변 데이터셋에서 기초 기계 학습 모델의 성능을 평가하기 위해.
• 기존 질문-답변 시스템을 문서 중심 보조에 적응시킬 수 있는지 탐색하기 위해.

제안 방법

• 112명의 참가자 대상 설문 조사로 문서 중심 시나리오에서 바라는 보조 기능과 일반적인 질문 유형을 파악했다.
• 1,000건의 업무 관련 문서와 이에 해당하는 1,000개의 질문 및 문서 내 해당 답변 스파니를 수집하고 주석을 붙였다.
• 정답 선택을 위한 여섯 가지 기초 모델을 설계하고 적용하였으며, 이는 SQuAD2.0에서 BERT를 미세조정하는 것, DQA만을 사용하는 것, 두 데이터셋 모두에 대한 하이브리드 미세조정 포함.
• 문서 중심 질문과 표준 QA 모델 간의 일치를 향상시키기 위해 질의 재작성 기법을 적용했다.
• F1 및 정확 일치(EM) 메트릭을 사용하여 보류된 테스트 세트에서 모델을 평가했다.
• 기본 모델로 BERT Large를 사용하고 도메인 특화 데이터를 활용한 전이 학습을 수행하여 새로운 작업에서의 성능을 평가했다.

실험 결과

연구 질문

• RQ1 문서 소비 시나리오에서 사용자가 대화형 보조자에게 기대하는 대화형 보조는 어떤 것일까?
• RQ2 문서 인식 보조자와 대화를 나누며 이 보조를 받기 위해 사용자가 사용할 수 있는 질문은 어떤 것일까?
• RQ3 기초 기계 학습 모델이 문서 중심 질문-답변 시나리오에서 얼마나 잘 작동하는가?
• RQ4 일반 도메인 QA 데이터(SQuAD2.0)와 문서 특화 데이터(DQA)를 결합할 경우 성능은 어떻게 변하는가?

주요 결과

• DQA 데이터셋은 전통적인 사실 기반 질문과 크게 다름을 보이는 문서 중심 질문의 높은 비율을 포함하고 있다.
• SQuAD2.0와 DQA 데이터셋 모두에 대해 BERT를 미세조정한 결과가 가장 뛰어난 성능을 보였으며, DQA 보류 세트에서 F1 점수는 41.02, EM은 20.30을 기록했다.
• 표준 QA 벤치마크와 비교해 DQA 작업에서의 성능은 뚜렷이 낮아, 문서 중심 QA가 별개이자 도전적인 도메인임을 시사한다.
• 질의 재작성은 성능 향상에 기여하지 않았으며, 이는 현재의 재작성 전략이 이 도메인에는 너무 단순할 수 있음을 시사한다.
• DQA 데이터셋 전용으로만 미세조정된 모델이 SQuAD2.0 전용으로 훈련된 모델보다 성능이 뛰어나, 도메인 특화 데이터의 중요성을 강조한다.
• 결과적으로 기초 모델은 합리적인 성능를 보이지만, 더 큰, 더 다양한 데이터셋과 더 나은 적응 기법을 통해 향상 여지가 크다는 점을 시사한다.