[논문 리뷰] Conversational Information Seeking

Hamed Zamani, Johanne R. Trippas외 2명|arXiv (Cornell University)|2022. 01. 21.

AI in Service Interactions인용 수 6

한 줄 요약

이 독립연구서는 대화형 정보 검색(CIS)에 대한 종합적인 개요를 제공하며, 그 기초, 대화형 검색, 질의응답, 추천 분야의 응용, 자연어 대화와 정보 검색의 통합을 다룬다. 상호작용식 정보 검색 및 대화 시스템 분야의 수십 년에 걸친 연구를 종합하여, CIS의 현재 도전 과제를 요약하고 자연어 상호작용에 기반한 견고하고 사용자 중심의 CIS 시스템을 위한 향후 연구 방향을 제시한다.

ABSTRACT

Conversational information seeking (CIS) is concerned with a sequence of interactions between one or more users and an information system. Interactions in CIS are primarily based on natural language dialogue, while they may include other types of interactions, such as click, touch, and body gestures. This monograph provides a thorough overview of CIS definitions, applications, interactions, interfaces, design, implementation, and evaluation. This monograph views CIS applications as including conversational search, conversational question answering, and conversational recommendation. Our aim is to provide an overview of past research related to CIS, introduce the current state-of-the-art in CIS, highlight the challenges still being faced in the community. and suggest future directions.

연구 동기 및 목표

• 정보 검색과 대화 시스템을 통합하는 독립된 연구 분야로 대화형 정보 검색(CIS)의 통합적 개요를 제공하기 위해.
• 대화형 검색, 질의응답, 추천와 같은 핵심 응용 분야를 포함해 CIS의 현재 기술 수준을 맵핑하기 위해.
• 자연어 이해, 장기적 사용자 모델링, 시스템 평가 등 CIS 분야의 열린 과제와 연구 격차를 특정하기 위해.
• 정보 검색 및 대화 시스템 분야의 이전 연구를 연결하여 신규 및 기존 연구자들이 사용할 수 있는 기초 참고 자료로 기능하기 위해.
• 향후 연구를 이끄는 데 도움이 되도록, 향상된 평가 지표와 종단 간 신경망 아키텍처와 같은 유망한 연구 방향을 제시하기 위해.

제안 방법

• 상호작용식 정보 검색(IIR), 탐색적 검색 및 대화 시스템 분야의 수십 년에 걸친 연구를 종합하여 CIS의 개념적 기초를 구축한다.
• CIS를 다회화, 자연어 상호작용을 포함하며, 시스템이 기억을 유지하고 혼합 주도형 상호작용을 지원하며 의도를 드러내는 것으로 정의한다.
• 사용자 및 시스템의 대화 턴, 대화 관리, 장기적 사용자 모델링 등 CIS 시스템의 핵심 구성 요소를 분석한다.
• 기존 평가 방법을 평가하며, 자동 평가 지표(BLEU, ROUGE, BERTScore)와 인간 평가를 포함하여 그 한계를 강조한다.
• 주요 워크숍(SWIRL, Dagstuhl, SCAI 등)의 벤치마크 및 데이터셋을 활용하고, 신경망 모델 및 검색 기반 접근법의 주요 기술적 진보를 조사한다.
• 기초 시스템인 ELIZA, PARRY, SHRDLU, HMIHY의 통찰을 통합하여 현대 CIS 발전을 둘러싸는 맥락을 제공한다.

실험 결과

연구 질문

• RQ1 전통적인 정보 검색 또는 임무 중심 대화와 비교해 대화형 정보 검색(CIS)을 어떻게 정의할 수 있는가?
• RQ2 CIS 시스템은 자연어 다회화 상호작용에서 어떻게 효과적으로 맥락과 기억을 유지할 수 있는가?
• RQ3 CIS 시스템 평가의 핵심 과제는 무엇이며, 자동 평가 지표는 인간 평가와 어떻게 비교되는가?
• RQ4 견고한 대화형 검색 및 추천 시스템을 구축하기 위한 가장 유망한 기술적 및 아키텍처적 접근법은 무엇인가?
• RQ5 CIS 분야의 최신 기술 수준을 향한 발전을 이끄는 데 가장 중요한 향후 연구 방향은 무엇인가?

주요 결과

• 자연어 이해 및 대규모 언어 모델의 발전 덕분에 CIS는 더 견고하고 자연스러운 상호작용을 가능하게 하여 크게 발전하였다.
• 진전에도 불구하고, BLEU 및 ROUGE와 같은 자동 평가 지표는 CIS 출력의 의미적 품질과 관련성의 핵심 요소를 충분히 반영하지 못하고 있다.
• 인간 평가와 암묵적 사용자 피드백은 CIS 시스템 성능 평가에 있어 가장 신뢰할 수 있는 방법으로 남아 있다.
• ELIZA, PARRY, SHRDLU와 같은 기초 시스템은 현대의 대화 및 정보 검색 시스템을 위한 핵심 기초를 마련하였다.
• 장기적 사용자 모델링과 혼합 주도형 상호작용의 통합은 확장성 있고 개인화된 CIS 시스템을 위한 주요 과제로 남아 있다.
• 최근의 워크숍 및 벤치마크 활동(SWIRL, Dagstuhl, SCAI 등)은 핵심 과제를 체계화하고 CIS 분야의 연구를 가속화하는 데 기여하였다.