[논문 리뷰] Conversations with Search Engines: SERP-based Conversational Response Generation

Pengjie Ren, Zhumin Chen외 4명|arXiv (Cornell University)|2020. 04. 29.

Topic Modeling참고 문헌 58인용 수 5

한 줄 요약

이 논문은 검색 엔진 결과 페이지(SERP) 기반으로 대화형 응답을 생성하기 위한 신경망 파이프라인인 Conversations with Search Engines (CaSE)를 소개하고, 다중 전환, SERP 기반 대화형 QA를 위한 SaaC 데이터셋을 제안한다. CaSE는 지원 토큰 식별 모듈과 사전 지식을 반영한 포인터 생성기로 응답 정확도를 향상시켜 새로운 기준 데이터셋에서 강력한 베이스라인을 능가한다.

ABSTRACT

In this paper, we address the problem of answering complex information needs by conversing conversations with search engines, in the sense that users can express their queries in natural language, and directly receivethe information they need from a short system response in a conversational manner. Recently, there have been some attempts towards a similar goal, e.g., studies on Conversational Agents (CAs) and Conversational Search (CS). However, they either do not address complex information needs, or they are limited to the development of conceptual frameworks and/or laboratory-based user studies. We pursue two goals in this paper: (1) the creation of a suitable dataset, the Search as a Conversation (SaaC) dataset, for the development of pipelines for conversations with search engines, and (2) the development of astate-of-the-art pipeline for conversations with search engines, the Conversations with Search Engines (CaSE), using this dataset. SaaC is built based on a multi-turn conversational search dataset, where we further employ workers from a crowdsourcing platform to summarize each relevant passage into a short, conversational response. CaSE enhances the state-of-the-art by introducing a supporting token identification module and aprior-aware pointer generator, which enables us to generate more accurate responses. We carry out experiments to show that CaSE is able to outperform strong baselines. We also conduct extensive analyses on the SaaC dataset to show where there is room for further improvement beyond CaSE. Finally, we release the SaaC dataset and the code for CaSE and all models used for comparison to facilitate future research on this topic.

연구 동기 및 목표

• 간단한 사실 기반 질의를 초월하는 복잡한 다중 전환 정보 필요성을 다루는 대화형 검색 시스템의 격차를 해소하기 위해.
• 훈련 및 평가를 위한 실제적이고 도전적인 기준 데이터셋—SaaC—을 개발하기 위해.
• SERP 인식 기능을 갖춘 엔드 투 엔드 신경망 모델 CaSE를 설계하고 구현하여 응답 생성 정확도를 향상시키기 위해.
• SaaC 데이터셋과 CaSE 코드를 공개하여 향후 SERP 기반 대화형 QA 분야의 연구를 가능하게 하기 위해.

제안 방법

• SaaC 데이터셋은 커뮤니티 기반 작업자들이 TREC CAsT 데이터셋의 관련 문단을 요약하여 짧고 자연스러운 언어 응답으로 만들며, 다중 전환 대화적 맥락을 유지한다.
• CaSE는 SERP에서 핵심 증거 토큰을 강조하는 지원 토큰 식별(STI) 모듈을 사용하여 관련성과 사실성 향상에 기여한다.
• 이전 대화 기록과 여러 SERP의 증거를 기반으로 조건화하는 것을 통해 응답 생성을 향상시키기 위해 사전 지식을 반영한 포인터 생성기가 도입된다.
• 생성된 응답이 참조 요약과 일치하도록 하기 위해 약한 지도 학습 기반의 대체 후보 인코딩(CCCE) 손실을 사용하여 모델을 훈련한다.
• 검색, 증거 선택, 응답 생성을 엔드 투 엔드로 미분 가능한 파이프라인으로 통합한다.
• 베이스라인으로는 MRC 및 KBQA 과제에서의 최신 기술 수준 모델들을 활용하였으며, SERP 기반 대화 설정에 맞게 수정하였다.

실험 결과

연구 질문

• RQ1 다중 소스 SERP 스니펫을 기반으로 다중 전환 환경에서 정확하고 대화형 응답을 효과적으로 생성할 수 있는 신경망 파이프라인이 존재하는가?
• RQ2 SERP 특화 증거와 대화 기록을 통합할 경우, 표준 seq2seq 모델 대비 응답 품질은 얼마나 향상되는가?
• RQ3 SaaC 데이터셋은 기존의 대화형 QA 기준 데이터셋보다 더 큰 도전 과제를 제공하는가?
• RQ4 CaSE의 구성 요소들—예를 들어 STI나 사전 지식을 반영한 포인터 생성기—중에서 성능 향상에 가장 기여하는 요소는 무엇인가?

주요 결과

• CaSE는 SaaC 데이터셋에서 자동 평가 및 인간 평가 지표 모두에서 강력한 베이스라인을 능가하는 최신 기술 수준의 성능을 달성한다.
• 지원 토큰 식별(STI) 모듈은 SERP에서 핵심 증거를 강조함으로써 응답의 관련성과 사실성 향상에 크게 기여한다.
• 사전 지식을 반영한 포인터 생성기는 대화 기록과 검색된 증거를 기반으로 조건화함으로써 응답의 다양성과 정확도를 향상시킨다.
• SaaC 데이터셋은 기존 기준 데이터셋보다 더 도전적이며, CaSE를 초월한 향상 여지가 다수 존재함을 시사하여 향후 연구의 필요성을 암시한다.
• 약한 지도 학습 기반 CCCE 손실은 생성된 응답과 기준 요약 간의 일치도를 향상시켜 생성 품질을 향상시킨다.
• SaaC 데이터셋과 CaSE 코드의 공개는 재현 가능성을 보장하고, 향후 SERP 기반 대화형 QA 분야의 연구를 촉진한다.