[논문 리뷰] Neural Approaches to Conversational Information Retrieval

Jianfeng Gao, Chenyan Xiong외 2명|arXiv (Cornell University)|2022. 01. 13.

Speech and dialogue systems인용 수 5

한 줄 요약

이 논문은 최근의 신경망 기반 대화형 정보 검색(CIR) 접근법을 조사하며, 딥러닝 모델을 사용한 다중 터닝, 자연어 상호작용에 초점을 맞춘다. 맥락 기반 쿼리 이해, 밀도 기반 검색, 문서 순위 매기기, 근거 기반 응답 생성을 위한 아키텍처를 제시하며, BERT 기반 모델, 신경망 기반 쿼리 재작성, 지식 기반 시스템에서의 대화형 QA 분야의 주요 발전을 통해 인간 중심의 임무 지향적 검색 시스템에서 성능 향상을 입증한다.

ABSTRACT

A conversational information retrieval (CIR) system is an information retrieval (IR) system with a conversational interface which allows users to interact with the system to seek information via multi-turn conversations of natural language, in spoken or written form. Recent progress in deep learning has brought tremendous improvements in natural language processing (NLP) and conversational AI, leading to a plethora of commercial conversational services that allow naturally spoken and typed interaction, increasing the need for more human-centric interactions in IR. As a result, we have witnessed a resurgent interest in developing modern CIR systems in both research communities and industry. This book surveys recent advances in CIR, focusing on neural approaches that have been developed in the last few years. This book is based on the authors' tutorial at SIGIR'2020 (Gao et al., 2020b), with IR and NLP communities as the primary target audience. However, audiences with other background, such as machine learning and human-computer interaction, will also find it an accessible introduction to CIR. We hope that this book will prove a valuable resource for students, researchers, and software developers. This manuscript is a working draft. Comments are welcome.

연구 동기 및 목표

• 연구자들과 실무자들을 대상으로 대화형 정보 검색(CIR)의 신경망 기반 접근법에 대한 종합적인 조사를 제공하기 위해.
• 자연어 상호작용을 지원하는 인간 중심의 다중 터닝 정보 검색 시스템에 대한 증가하는 필요성을 충족하기 위해.
• 최근의 사전 훈련된 모델과 신경망 아키텍처의 발전을 통합함으로써 전통적인 정보 검색(IR), 자연어 처리(NLP), 대화형 AI 간의 격차를 메우기 위해.
• 근거 기반 언어 생성, 맥락 모델링, 대화 시스템에서의 책임 있는 AI 분야의 과제를 부각하기 위해.
• 정보 검색(IR), 자연어 처리(NLP), 인간-컴퓨터 상호작용 분야의 학부생, 연구자, 개발자들에게 기초 자료로 기능하기 위해.

제안 방법

• 대화 설정에서 쿼리와 문서의 맥락을 인코딩하기 위해 사전 훈련된 언어 모델(PLM), 특히 BERT를 활용한다.
• 다중 터닝 상호작용 전반에서 맥락 인식 기반 문서 순위 매기기를 가능하게 하는 효율적인 밀도 기반 검색을 위한 듀얼 인코더 아키텍처를 적용한다.
• 밀도 벡터 공간에서의 확장 가능한 검색을 위해 근사 최근접 이웃(ANN) 검색을 사용한다.
• 주의 메커니즘을 활용한 신경망 기반 쿼리 재작성 및 맥락 기반 쿼리 확장을 통해 다중 터닝 대화에서의 관련성 향상을 도모한다.
• 요약 생성 및 근거 기반 생성을 포함한 대화형 검색 및 응답 생성 모델의 엔드 투 엔드 훈련을 수행한다.
• 대화 상태 추적 및 정책 학습(예: 강화 학습을 통한)을 통해 CIR 시스템에서 임무 지향적 대화 관리 기능을 통합한다.

실험 결과

연구 질문

• RQ1 신경망 모델은 다중 터닝 대화 검색 환경에서 사용자 쿼리의 맥락 이해를 어떻게 향상시킬 수 있는가?
• RQ2 대화형 IR 환경에서 밀도 기반 검색 및 순위 매기기의 가장 효과적인 아키텍처는 무엇인가?
• RQ3 왜곡을 방지하면서도 사실 일致성을 유지하는 근거 기반 응답 생성은 어떻게 달성할 수 있는가?
• RQ4 伝통적인 IR 메트릭스를 넘어서 CIR 시스템의 효과성을 가장 잘 측정하는 평가 전략은 무엇인가?
• RQ5 실제 환경 배포에서 더 유연하고 투명하며 책임감 있는 대화 시스템을 설계하기 위해선 어떻게 해야 하는가?

주요 결과

• BERT 기반 모델을 포함한 신경망 접근법은 다중 터닝 대화에서 맥락 기반 쿼리 이해와 관련성 향상에 크게 기여한다.
• 듀얼 인코더 아키텍처를 사용한 밀도 기반 검색은 전통적인 스퍼스 검색보다 맥락을 더 효과적으로 포착함으로써 대화형 환경에서 더 뛰어난 성능을 보인다.
• 신경망 기반 쿼리 재작성 및 맥락 인식 기반 재순위 매기기는 TREC CAsT 및 OR-QuAC와 같은 벤치마크에서 검색 정확도 향상에 명백한 기여를 한다.
• 근거 기반 텍스트 생성 모델(GTG 등)은 지식 기반 시스템에서의 대화형 QA에서 왜곡을 줄이고 사실 일치성을 향상시킨다.
• 시스템 중심과 사용자 중심의 평가 방법을 융합한 평가 프레임워크는 실세계의 사용성과 효과성을 평가하기 위해 필수적이다.
• 사용자 질문의 명확화 또는 유용한 질문 제안을 주도적으로 수행하는 시스템은 탐색적 검색에서 특히 사용자 참여도와 임무 완료율을 향상시킨다.