[논문 리뷰] Conversations with Search Engines.

Pengjie Ren, Zhumin Chen외 4명|arXiv (Cornell University)|2020. 04. 29.

Topic Modeling참고 문헌 38인용 수 11

한 줄 요약

이 논문은 복잡한 정보 필요에 대응하기 위해 자연어 기반의 다중 터닝 대화형 검색을 가능하게 하기 위해 Search as a Conversation (SaaC) 데이터셋과 대화형 검색 엔진을 위한 Conversations with Search Engines (CaSE) 파이프라인을 소개한다. CaSE는 지원 토큰 식별 모듈과 사전 지식을 반영한 포인터 생성기 모듈을 사용하여 응답 정확도를 향상시켜 새로운 데이터셋에서 강력한 베이스라인을 능가한다.

ABSTRACT

In this paper, we address the problem of answering complex information needs by conversing conversations with search engines, in the sense that users can express their queries in natural language, and directly receivethe information they need from a short system response in a conversational manner. Recently, there have been some attempts towards a similar goal, e.g., studies on Conversational Agents (CAs) and Conversational Search (CS). However, they either do not address complex information needs, or they are limited to the development of conceptual frameworks and/or laboratory-based user studies. We pursue two goals in this paper: (1) the creation of a suitable dataset, the Search as a Conversation (SaaC) dataset, for the development of pipelines for conversations with search engines, and (2) the development of astate-of-the-art pipeline for conversations with search engines, the Conversations with Search Engines (CaSE), using this dataset. SaaC is built based on a multi-turn conversational search dataset, where we further employ workers from a crowdsourcing platform to summarize each relevant passage into a short, conversational response. CaSE enhances the state-of-the-art by introducing a supporting token identification module and aprior-aware pointer generator, which enables us to generate more accurate responses. We carry out experiments to show that CaSE is able to outperform strong baselines. We also conduct extensive analyses on the SaaC dataset to show where there is room for further improvement beyond CaSE. Finally, we release the SaaC dataset and the code for CaSE and all models used for comparison to facilitate future research on this topic.

연구 동기 및 목표

• 기존 대화형 검색 시스템이 복잡한 정보 필요를 효과적으로 처리하지 못하는 격차를 보완하기 위해.
• 훈련 및 평가를 위한 고품질의 다중 터닝 대화형 검색 데이터셋(SaaC)을 구축하기 위해.
• 복잡한 쿼리에 대해 대화를 통해 정확하고 자연스러운 응답을 생성할 수 있는 최신 기술 파이프라인 CaSE를 개발하기 위해.
• 검색 및 응답 생성 모듈을 통합하여 대화형 검색을 위한 엔드 투 엔드 학습을 가능하게 하기 위해.
• SaaC 데이터셋과 CaSE 코드를 공개하여 향후 대화형 검색 분야의 연구를 가속화하기 위해.

제안 방법

• 다중 터닝 대화형 검색 데이터셋을 확장하고, 현장 작업자들을 활용해 관련 파assage를 간결하고 대화적인 응답으로 요약하여 SaaC 데이터셋을 구축하였다.
• 검색된 파assage에서 핵심 증거를 강조하기 위해 지원 토큰 식별 모듈을 갖춘 CaSE 파이프라인을 설계하였다.
• 이전 대화 기록과 문서 관련성에 기반하여 조건화된 사전 지식을 반영한 포인터 생성기를 통합하여 응답 생성을 향상시켰다.
• 응답의 자연스러움, 관련성, 사실 정확도를 최적화하기 위해 SaaC 데이터셋을 사용하여 CaSE 모델을 엔드 투 엔드로 훈련시켰다.
• 자동 평가 지표와 인간 평가를 활용하여 강력한 베이스라인과의 성능 비교를 수행하여 성능 향상을 검증하였다.
• SaaC 데이터셋을 기반으로 추론 실패 분석 및 아블레이션 스터디를 수행하여 한계점을 규명하고 향후 개선 방향을 도출하였다.

실험 결과

연구 질문

• RQ1 어떻게 복잡하고 다중 터닝 정보 필요에 대응할 수 있는 대화형 검색 데이터셋을 구성할 수 있는가?
• RQ2 CaSE 파이프라인이 기존 베이스라인 대비 정확하고 자연스러운 응답 생성에서 얼마나 뛰어난 성능을 보이는가?
• RQ3 지원 토큰 식별 모듈과 사전 지식을 반영한 포인터 생성기 모듈이 응답 품질에 어떤 기여를 하는가?
• RQ4 SaaC 데이터셋 분석을 통해 현재 대화형 검색 시스템의 주요 실패 유형과 한계는 무엇인가?
• RQ5 대화형 검색 파이프라인에서 검색과 응답 생성을 어떻게 공동 최적화할 수 있는가?

주요 결과

• CaSE 파이프라인은 복잡한 쿼리에 대해 정확하고 맥락에 부합하는 응답을 생성하는 데 있어 강력한 베이스라인을 크게 능가한다.
• 지원 토큰 식별 모듈은 검색된 파assage에서 관련 증거에 집중할 수 있는 모델의 능력을 향상시킨다.
• 사전 지식을 반영한 포인터 생성기는 대화 기록과 문서 사전 지식을 활용하여 응답의 관련성을 향상시킨다.
• SaaC 데이터셋 분석을 통해 현재 시스템은 다중 터닝 상호작용에서 일관성 유지와 장거리 의존성 처리에 어려움을 겪고 있음을 확인하였다.
• SaaC 데이터셋에 대한 오류 분석 결과, 환상화와 사실 불일치가 여전히 주요 과제로 남아 있으며, 특히 복잡한 쿼리 시나리오에서 두드러진다.
• SaaC 데이터셋과 CaSE 코드의 공개는 실제 응용 가능성을 지닌 대화형 검색 분야의 향후 연구를 위한 기반을 마련한다.