[논문 리뷰] Rethinking Search: Making Experts out of Dilettantes

Donald Metzler, Yi Tay외 2명|arXiv (Cornell University)|2021. 05. 05.

Topic Modeling참고 문헌 87인용 수 9

한 줄 요약

이 논문은 고전적 정보 검색 기법과 대규모 미사전학습된 언어 모델을 융합하여 전문가 수준의 질의응답 시스템을 구축하는 하이브리드 시스템을 제안한다. 언어 모델이 훈련 코퍼스 문서에 근거한 참조 자료를 제시함으로써 답변을 정당화하도록 하여, 환상적 응답을 줄이고 권위 있고 추적 가능한 답변을 제공함으로써 확장 가능한 생성 기반과 신뢰할 수 있는 전문가 조언 사이의 격차를 메운다.

ABSTRACT

When experiencing an information need, users want to engage with an expert, but often turn to an information retrieval system, such as a search engine, instead. Classical information retrieval systems do not answer information needs directly, but instead provide references to (hopefully authoritative) answers. Successful question answering systems offer a limited corpus created on-demand by human experts, which is neither timely nor scalable. Large pre-trained language models, by contrast, are capable of directly generating prose that may be responsive to an information need, but at present they are dilettantes rather than experts - they do not have a true understanding of the world, they are prone to hallucinating, and crucially they are incapable of justifying their utterances by referring to supporting documents in the corpus they were trained over. This paper examines how ideas from classical information retrieval and large pre-trained language models can be synthesized and evolved into systems that truly deliver on the promise of expert advice.

연구 동기 및 목표

• 클래식적 정보 검색 기법과 통합함으로써 대규모 언어 모델이 추적 가능하고 정당화 가능한 답변을 제공할 수 있도록 하는 것.
• 질의응답 시스템에서 인간이 수작업으로 준비한 전문가 코퍼스의 스케일링 및 시의성 문제를 해결하는 것.
• 사실적 일관성과 출처 책임성을 유지하면서 전문가 수준의 응답을 제공하는 시스템을 개발하는 것.
• 검색 및 생성 기법을 통합하여 전문가의 추론 방식을 모방하는 유일한 아키텍처를 설계하는 것.

제안 방법

• 밀도 있는 파assage 검색과 미세조정된 대규모 언어 모델을 결합하여 관련 문서를 식별하고 답변을 생성하는 방식.
• 검색 증강 생성(RAG) 프레임워크를 활용하여, 검색된 문서를 답변 생성의 맥락으로 사용하는 방식.
• 언어 모델이 검색된 증거에 의해 지지되지 않는 주장만을 생성하도록 제약 조건을 도입하여 환상적 응답을 줄이는 방식.
• 생성 전에 사전 색인된 코퍼스에서 관련 파assage를 식별하고 검색하는 검색 모듈을 사용하는 방식.
• 언어 모델이 답변을 생성할 때 검색된 문서를 명시적으로 인용하도록 훈련시켜 정당화 가능성을 확보하는 방식.
• 생성된 주장이 검색된 증거에 의해 지지되는지 확인하는 검증 단계를 도입하는 방식.

실험 결과

연구 질문

• RQ1 검색과 생성을 융합한 하이브리드 시스템이 추적 가능한 정당화 근거를 갖춘 전문가 수준의 답변을 생성할 수 있는가?
• RQ2 문서 검색을 통합함으로써 대규모 언어 모델의 응답에서 사실적 일관성이 어떻게 향상되는가?
• RQ3 기존의 생성 모델 대비 이러한 시스템이 환상적 응답을 얼마나 줄일 수 있는가?
• RQ4 수동으로 준비된 전문가 코퍼스에 의존하지 않고도 시스템이 확장 가능하면서도 전문가 수준의 신뢰성을 유지할 수 있는가?

주요 결과

• 언어 모델이 검색된 증거에 근거한 주장을 제시하도록 요구함으로써 하이브리드 시스템이 환상적 응답을 크게 줄였다.
• 생성된 답변은 사실적으로 더 일관성이 있으며, 코퍼스 내 특정 지원 문서로 추적할 수 있다.
• 시스템은 사실적 일관성과 출처 책임성을 유지하면서도 복잡한 질의응답 벤치마크에서 전문가 수준의 성능을 달성했다.
• 검색과 생성의 통합은 수동으로 준비된 전문가 코퍼스에 의존하지 않고도 확장 가능하고 정당화 가능한 응답을 가능하게 했다.