[논문 리뷰] Future of Information Retrieval Research in the Age of Generative AI

James Allan, Eunsol Choi외 2명|arXiv (Cornell University)|2024. 12. 03.

Big Data Technologies and ApplicationsDecision Sciences인용 수 3

한 줄 요약

이 논문은 생성형 AI 시대의 정보 검색(IR)에 관한 2024년 비전 워크숍의 통찰을 종합하여, 대규모 언어 모델(LLM)을 IR 시스템에 통합하는 연구 의제를 제안한다. 신뢰성, 평가, 다학제적 협업을 강조하며, 생성형 AI를 통한 IR 발전을 위한 핵심 과제, 기회 및 권고 사항을 제시한다.

ABSTRACT

In the fast-evolving field of information retrieval (IR), the integration of generative AI technologies such as large language models (LLMs) is transforming how users search for and interact with information. Recognizing this paradigm shift at the intersection of IR and generative AI (IR-GenAI), a visioning workshop supported by the Computing Community Consortium (CCC) was held in July 2024 to discuss the future of IR in the age of generative AI. This workshop convened 44 experts in information retrieval, natural language processing, human-computer interaction, and artificial intelligence from academia, industry, and government to explore how generative AI can enhance IR and vice versa, and to identify the major challenges and opportunities in this rapidly advancing field. This report contains a summary of discussions as potentially important research topics and contains a list of recommendations for academics, industry practitioners, institutions, evaluation campaigns, and funding agencies.

연구 동기 및 목표

• 정보 검색(IR)과 생성형 AI, 특히 대규모 언어 모델(LLM) 간의 접점에서 전환적 연구 기회를 규명하기 위해.
• 생성형 AI의 IR 시스템 통합으로 인한 신뢰성, 평가, 사용자 신뢰 문제와 같은 과제를 해결하기 위해.
• 학계, 산업계, 정부 기관의 이해관계자들이 근거 기반 권고 사항을 바탕으로 IR 연구를 촉진하도록 안내하기 위해.
• IR, 자연어 처리(NLP), 인터페이스 설계(HCI), AI 분야 간 협업을 촉진하는 공통의 연구 의제를 수립하기 위해.
• 자금 지원 기관, 평가 캠페인, 기관들이 생성형 AI 시대의 향후 IR 연구 우선순위를 이해하고 지원할 수 있도록 안내하기 위해.

제안 방법

• 학계, 산업계, 정부 소속 전문가 44명이 참가한 비전 워크숍을 통해 IR-GenAI 융합 가능성을 탐색하였다.
• 토론 결과를 신뢰성, 평가, 시스템 설계 등의 핵심 주제에 중점을 두어 체계적인 연구 의제로 정리하였다.
• 전통적인 정확도 및 재현율과 같은 지표를 넘어서, LLM을 보완하는 IR 시스템 평가를 위한 프레임워크를 제안하였다.
• IR-GenAI 시스템에서 인간 중심 설계와 상호작용 평가의 필요성을 강조하였다.
• 미래의 IR 시스템 핵심 구성 요소로 검색 기반 생성(RAG), 사실성 모니터링, 검색 기반 설계를 식별하였다.
• 생성형 IR 사용 사례에 맞는 표준화된 벤치마크와 평가 캠페인 개발을 권고하였다.

실험 결과

연구 질문

• RQ1 생성형 AI는 전통적인 정보 검색 시스템을 어떻게 향상시킬 수 있으며, 동시에 사실 정확성과 신뢰성을 유지할 수 있는가?
• RQ2 LLM을 보완하는 IR 시스템의 성능과 신뢰성 평가를 위해 어떤 새로운 평가 방법론이 필요한가?
• RQ3 검색 맥락에서 생성형 AI 출력의 환각과 편향과 같은 위험을 정보 검색 연구는 어떻게 해결할 수 있는가?
• RQ4 다음 세대의 IR 시스템에 생성형 AI를 통합할 때 상호작용적이고 사용자 중심의 설계는 어떤 역할을 해야 하는가?
• RQ5 학계, 산업계, 정부 기관은 대규모 언어 모델 시대의 IR 연구를 효과적으로 발전시키기 위해 어떻게 협력할 수 있는가?

주요 결과

• 생성형 AI를 IR에 통합함으로써 전환적 기회가 열리지만, 사실 일관성과 시스템 신뢰성과 관련된 중대한 과제도 동반된다.
• 전통적인 IR 평가 지표는 LLM을 보완하는 시스템 평가에 부적합하며, 사실성, 추론 능력, 사용자 만족도에 중점을 둔 새로운 벤치마크가 필요하다.
• 검색 기반 생성(RAG)과 기반 기반 설계 기법은 환각을 줄이고 생성형 IR 시스템의 신뢰성을 향상시키는 데 핵심적이다.
• 재현 가능한 연구를 지원하기 위해 표준화된 평가 캠페인과 공유 데이터셋이 점점 더 필요로 한다.
• 시스템 설계 및 사용자 상호작용 분야의 새로운 과제를 해결하기 위해 IR, NLP, HCI, AI 분야 간의 다학제적 협업이 필수적이다.
• 자금 지원 기관과 기관은 생성형 AI로 구동되는 신뢰성 있고 설명 가능하며 상호작용 가능한 IR 시스템에 대한 장기적 연구를 우선시해야 한다.