[논문 리뷰] Large Language Models for Information Retrieval: A Survey

Yutao Zhu, Huaying Yuan외 8명|arXiv (Cornell University)|2023. 08. 14.

Topic Modeling인용 수 92

한 줄 요약

이 설문조사는 대규모 언어 모델(LLMs)이 정보 검색(IR)에 쿼리 재작성, 검색기, 재정렬기, 독자, 검색 에이전트에 걸쳐 어떻게 응용되는지 검토하며, 방법, 도전과제 및 방향을 조명한다.

ABSTRACT

As a primary means of information acquisition, information retrieval (IR) systems, such as search engines, have integrated themselves into our daily lives. These systems also serve as components of dialogue, question-answering, and recommender systems. The trajectory of IR has evolved dynamically from its origins in term-based methods to its integration with advanced neural models. While the neural models excel at capturing complex contextual signals and semantic nuances, thereby reshaping the IR landscape, they still face challenges such as data scarcity, interpretability, and the generation of contextually plausible yet potentially inaccurate responses. This evolution requires a combination of both traditional methods (such as term-based sparse retrieval methods with rapid response) and modern neural architectures (such as language models with powerful language understanding capacity). Meanwhile, the emergence of large language models (LLMs), typified by ChatGPT and GPT-4, has revolutionized natural language processing due to their remarkable language understanding, generation, generalization, and reasoning abilities. Consequently, recent research has sought to leverage LLMs to improve IR systems. Given the rapid evolution of this research trajectory, it is necessary to consolidate existing methodologies and provide nuanced insights through a comprehensive overview. In this survey, we delve into the confluence of LLMs and IR systems, including crucial aspects such as query rewriters, retrievers, rerankers, and readers. Additionally, we explore promising directions, such as search agents, within this expanding field.

연구 동기 및 목표

• IR 구성 요소(쿼리 재작성기, 검색기, 재정렬기, 독자)에 적용된 LLM의 최근 발전을 통합하고 분석한다.
• LLMs가 IR 파이프라인에 어떻게 통합되는지 설명하고 데이터 부족과 환각과 같은 실용적 도전과제를 식별한다.
• 프롬프트, 미세조정, 코퍼스 강화 방법 등 기법과 평가 측면을 논의한다.
• 검색 에이전트 및 엔드-투-엔드 LLM 주도 IR 모델과 같은 향후 방향을 탐구한다.

제안 방법

• IR 배경과 IR에 관련된 LLM 개념의 조사.
• 쿼리 재작성기, 검색기, 재정렬기, 독자 등 IR 모듈과 이들에 LLM이 강화된 변형의 분류.
• IR 과제에 대한 프롬프트 전략, 미세조정, 지식 증류의 논의.
• 쿼리 재작성에 대한 코퍼스 강화 대 LLM-단독 접근 방식의 분석.
• 일관된 LLM-주도 IR 패러다임으로서 WebGPT와 같은 검색 에이전트의 개요.

실험 결과

연구 질문

• RQ1 LLMs가 현재 IR 모듈(쿼리 재작성기, 검색기, 재정렬기, 독자)에 어떻게 통합되고 그 이점과 한계는 무엇인가?
• RQ2 임시(ad-hoc) 및 대화형 검색 전반에서 LLM을 사용해 최고의 IR 성능을 내는 프롬프트 전략, 훈련 방식 및 코퍼스 통합은 무엇인가?
• RQ3 데이터 부족, 환각, 해석 가능성 등 IR에서 LLM을 배치할 때의 주요 도전과제는 무엇이며 이를 어떻게 완화할 수 있는가?
• RQ4 검색 에이전트의 역할과 IR 작업 자동화 및 사용자 경험 향상에 대한 잠재력은 무엇인가?
• RQ5 LLMs와 함께하는 IR 연구를 안내할 미래 방향과 해결해야 할 열린 문제는 무엇인가?

주요 결과

• LLMs는 비정기적(ad-hoc) 및 대화형 검색을 위한 쿼리의 확장 및 명료화를 통해 쿼리 재작성의 품질을 향상시키는 데 이용된다.
• 코퍼스 강화된 LLM 기반 재작성 방법은 외부 문서를 활용하여 재작성의 관련성과 사실성을 개선한다.
• 주요 재작성 접근 방식은 프롬프트, 미세조정, 지식 증류의 세 가지이며, IR 응용에서 프롬프트가 두드러진다.
• LLMs는 재작성 외에도 검색기, 재정렬기, 독자 등 IR의 모듈에 기여하여 더 맥락을 고려한 생성 응답을 가능하게 한다.
• 검색 에이전트는 자동 검색 및 결과 이해를 모델링하여 엔드-투-엔드 LLM 주도 IR 워크플로우(예: WebGPT)를 가능하게 한다.
• 이 분야는 전통적 IR의 효율성(BM25 등)과 신경망적 의미론 능력을 균형 있게 조합해 데이터 부족과 로버스트니스 문제에 대응하는 방향에 중점을 둔다.