[논문 리뷰] Conversational Search -- A Report from Dagstuhl Seminar 19461

Avishek Anand, Lawrence Cavedon외 4명|arXiv (Cornell University)|2020. 05. 18.

Information Retrieval and Search Behavior참고 문헌 3인용 수 5

한 줄 요약

이 논문은 정보 검색(IR), 자연어 처리(NLP), 인간-컴퓨터 상호작용(HCI), 대화 시스템 분야에서 온 44명의 연구자들이 참석한 Dagstuhl 세미나 19461의 결과를 제시한다. 이 세미나는 대화형 검색의 연구 방향성을 정립하기 위해 개최되었으며, 정의, 평가, 모델링, 설명, 시나리오, 응용, 프로토타이핑을 포함한 포괄적인 로드맵을 수립했다. 주요 기여 사항으로는 학술 대화형 어시스턴트 시스템의 제안과 기초 지식을 위한 정리된 독서 목록이 포함되어 있다.

ABSTRACT

Dagstuhl Seminar 19461 "Conversational Search" was held on 10-15 November 2019. 44~researchers in Information Retrieval and Web Search, Natural Language Processing, Human Computer Interaction, and Dialogue Systems were invited to share the latest development in the area of Conversational Search and discuss its research agenda and future directions. A 5-day program of the seminar consisted of six introductory and background sessions, three visionary talk sessions, one industry talk session, and seven working groups and reporting sessions. The seminar also had three social events during the program. This report provides the executive summary, overview of invited talks, and findings from the seven working groups which cover the definition, evaluation, modelling, explanation, scenarios, applications, and prototype of Conversational Search. The ideas and findings presented in this report should serve as one of the main sources for diverse research programs on Conversational Search.

연구 동기 및 목표

• 기존의 쿼리-응답 모델을 넘어서는 패러다임 전환으로서 대화형 검색의 공통된 이해를 확립하기 위해.
• 대화형 검색 시스템에서 상호작용, 사용자 모델링, 평가, 설명 분야의 핵심 과제를 특정하기 위해.
• 다중 모odal 및 다중 사용자 시나리오를 고려한 대화형 검색에 초점을 맞춘 다학제적 공동체의 연구 로드맵을 정의하기 위해.
• 실제 데이터와 사용자 요구를 기반으로 한 프로토타입 시스템—특히 학술 대화형 어시스턴트—를 개발하기 위해.
• 미래의 연구를 위한 기초 독서 목록을 정리하고, 도구, 데이터, 윤리적 고려사항을 제안하기 위해.

제안 방법

• 정보 검색(IR), 자연어 처리(NLP), 인간-컴퓨터 상호작용(HCI), 대화 시스템 분야에서 온 44명의 연구자들이 참석한 5일간의 다학제적 세미나를 실시하여 대화형 검색을 다양한 시각에서 탐구하였다.
• 세미나 전 사전 설문조사를 통해 이상적인 시스템, 열린 과제, 필수 독서 목록을 수집하였으며, 이를 바탕으로 워킹 그룹을 편성하였다.
• 정의, 평가, 모델링, 설명, 시나리오, 학습 응용, 프로토타이핑의 7개 워킹 그룹을 구성하였다.
• 개인 지식 그래프, 음성 인식, arXiv, ACL Anthology, ORKG 등의 소스에서 유래한 의미적 데이터를 통합한 학술 대화형 어시스턴트 시스템을 제안하였다.
• 모듈러 아키텍처를 갖춘 프로토타입을 설계하여 클라우드 및 클라이언트 측 데이터 저장을 모두 지원하였으며, 사용자 통제 및 프라이버시 보호를 중시하였다.
• 오픈소스 플랫폼(예: Macaw, TIRA), 도구(예: ArXivDigest, GrapAL), 데이터 컬렉션(예: Semantic Scholar, dblp)을 시스템 개발에 권장하였다.

실험 결과

연구 질문

• RQ1 다양한 모odal리티와 사용자 맥락에서 '대화형 검색' 시스템이 무엇을 포함하는지, 그리고 이를 공식적으로 정의할 수 있는가?
• RQ2 사용자 상호작용이 논증, 명확화, 논쟁을 포함할 경우, 대화형 검색 시스템은 어떻게 효과적으로 평가할 수 있는가?
• RQ3 다중 턴 대화 동안 사용자 의도, 맥락, 변화하는 정보 필요성을 표현하기 위해 필요한 모델링 접근법은 무엇인가?
• RQ4 투명성과 사용자 신뢰를 향상시키기 위해 설명과 정당화를 대화형 검색에 어떻게 통합할 수 있는가?
• RQ5 학술적 및 실제 응용을 위한 확장 가능하고 프라이버시를 보장하는 대화형 검색 시스템을 구축할 때의 주요 기술적, 윤리적, 운영적 과제는 무엇인가?

주요 결과

• 대화형 검색은 사용자와 시스템이 대화를 통해 정보 필요성을 공동으로 구성하는 동적이고 다중 턴 상호작용을 포함한다는 데 공감대가 형성되었다.
• 대화형 검색의 평가는 정밀도와 재현율을 넘어서 대화의 일관성, 명확화 효과, 논증 품질 등의 측정 기준이 필요하다.
• 사용자 의도와 맥락을 모델링하기 위해서는 사용자 모델, 개인 지식 그래프, 세션 간 및 다양한 모odal리티 간의 맥락 기억을 통합해야 한다.
• 대화형 검색에서 설명은 상호작용적이며 정당화 가능해야 하며, 특히 사용자 데이터에서 유도된 의견이나 추천을 제시할 경우 더욱 그러하다.
• 제안된 학술 대화형 어시스턴트 프로토타입은 arXiv, ACL Anthology, ORKG 등의 다양한 데이터 소스를 통합하며, 프라이버시 보호 조치를 취한 채로 온라인 및 오프라인 운영을 지원한다.
• 주요 과제로는 데이터 프라이버시 확보, 사용자 참여 유도 전략 관리, 공동 연구 환경에서의 시스템 안정성 및 재현 가능성 확보가 있다.