[논문 리뷰] Information Retrieval Meets Large Language Models: A Strategic Report from Chinese IR Community

Qingyao Ai, Ting Bai외 31명|arXiv (Cornell University)|2023. 07. 19.

Topic Modeling인용 수 4

한 줄 요약

중국 정보검색(IR) 공동체에서 발표한 이 전략 보고서는 인간, 정보검색(IR) 모델, 대규모 언어모델(LLM)을 통합하는 새로운 삼각형 패러다임을 제안하여 정보 탐색 능력을 향상시키고자 한다. IR을 실시간으로 사실 정보를 검색하는 데 활용하고, LLM을 추론 및 생성에 사용함으로써 더 정확하고 신뢰성 있으며 상호작용이 가능한 시스템을 가능하게 하지만, 신뢰성, 효율성, 데이터 품질과 같은 과제들은 해결되지 않은 채 남아 있다.

ABSTRACT

The research field of Information Retrieval (IR) has evolved significantly, expanding beyond traditional search to meet diverse user information needs. Recently, Large Language Models (LLMs) have demonstrated exceptional capabilities in text understanding, generation, and knowledge inference, opening up exciting avenues for IR research. LLMs not only facilitate generative retrieval but also offer improved solutions for user understanding, model evaluation, and user-system interactions. More importantly, the synergistic relationship among IR models, LLMs, and humans forms a new technical paradigm that is more powerful for information seeking. IR models provide real-time and relevant information, LLMs contribute internal knowledge, and humans play a central role of demanders and evaluators to the reliability of information services. Nevertheless, significant challenges exist, including computational costs, credibility concerns, domain-specific limitations, and ethical considerations. To thoroughly discuss the transformative impact of LLMs on IR research, the Chinese IR community conducted a strategic workshop in April 2023, yielding valuable insights. This paper provides a summary of the workshop's outcomes, including the rethinking of IR's core values, the mutual enhancement of LLMs and IR, the proposal of a novel IR technical paradigm, and open challenges.

연구 동기 및 목표

• 대규모 언어모델(LLM)의 변혁적 잠재력에 비추어 정보검색(IR)의 핵심 가치를 재평가하고자 한다.
• IR 모델과 LLM 간의 상호보완적 향상을 통해 사용자 이해, 콘텐츠 생성, 시스템 신뢰성 향상을 탐색하고자 한다.
• IR 모델, LLM, 인간이 상호보완적으로 협력하여 복잡한 정보 요구를 충족시키는 새로운 기술 패러다임을 제안하고자 한다.
• LLM을 IR 시스템에 통합할 때 발생하는 신뢰성, 계산 비용, 윤리적 우려와 같은 주요 과제를 특정하고 분석하고자 한다.
• LLM 기반 IR의 향후 연구 및 개발을 이끄는 데 기여하기 위해 열려 있는 문제들과 전략적 방향을 제시하고자 한다.

제안 방법

• IR 모델이 실시간으로 사실 정보를 검색하고, LLM이 내부 지식과 추론 능력을 기여하며, 인간이 평가자이자 요구자 역할을 하는 새로운 삼각형 IR 패러다임을 제안한다.
• LLM의 사실 왜곡과 장기적 맥락 한계를 보완하기 위해 IR 시스템을 외부 지식 기반으로 통합한다.
• LLM의 출력을 IR 시스템의 최신이고 관련성 있는 문서에 기반하게 하기 위해 검색 증강 생성(RAG) 원리를 적용한다.
• 생성된 콘텐츠와 함께 검색된 최신이고 신뢰할 수 있는 데이터를 균형 있게 조합함으로써 신뢰성을 향상시키기 위한 하이브리드 시스템을 권장한다.
• LLM의 고성능 훈련 데이터를 확보하기 위해 고도화된 데이터 주석 처리 파이프라인과 품질 평가 메커니즘을 제안한다.
• 순위 목록과 LLM 기반 요약을 통합한 새로운 표시 형식을 설계하여 사용자 요구를 더 잘 충족시키고자 한다.

실험 결과

연구 질문

• RQ1 IR 모델, LLM, 인간 간의 상호작용이 어떻게 구성되어 더 강력하고 신뢰할 수 있는 정보검색 시스템을 만들 수 있는가?
• RQ2 LLM을 IR 시스템에 통합할 때 발생하는 주요 과제, 특히 신뢰성, 지연 시간, 데이터 품질 측면에서의 과제는 무엇인가?
• RQ3 LLM을 검색 시스템과 효과적으로 융합하여 신선함, 정확도, 생성 능력 간의 균형을 어떻게 유지할 수 있는가?
• RQ4 LLM 기반 IR 시스템의 신뢰성과 해석 가능성 평가를 위해 어떤 새로운 평가 방법이 필요한가?
• RQ5 예를 들어 사용자-아이템 상호작용, 웹 링크 등의 구조적 정보는 LLM 기반 IR 모델에 어떻게 효과적으로 통합될 수 있는가?

주요 결과

• IR 모델과 LLM의 통합은 이중 힘 기반 시스템을 형성한다: IR은 사실 일관성과 최신 정보를 보장하고, LLM은 추론과 생성 기능을 제공한다.
• LLM만으로는 환상적 정보 생성, 장기 맥락 기억 한계, 낮은 신뢰성 문제를 겪기 때문에 검색 시스템이 기반 자료로 필수적이다.
• 높은 계산 비용과 서빙 지연 시간은 온라인 IR 시스템에서 LLM을 실시간으로 구현하는 데 있어 주요 장벽으로 남아 있다.
• 기존의 PageRank 같은 품질 평가 방법은 인공지능 생성된 오락성 정보를 탐지하는 데 부적절하여, 새로운 탐지 및 필터링 메커니즘이 필요하다.
• LLM 기반 콘텐츠의 급격한 증가로 경쟁이 심화되고 있으며, 이는 콘텐츠 제작자가 품질 향상과 혁신을 위해 더욱 노력하도록 압박한다.
• LLM 기반 생성 콘텐츠를 검색 결과와 함께 표시할 표준 형식이 존재하지 않아 인터페이스 설계에서 중요한 열린 과제로 남아 있다.