[논문 리뷰] Precise Zero-Shot Dense Retrieval without Relevance Labels

Luyu Gao, Xueguang Ma외 2명|arXiv (Cornell University)|2022. 12. 20.

Topic Modeling인용 수 15

한 줄 요약

이 논문은 관련성 레이블이나 모델 미세조정 없이도 성능이 우수한 제로샷 밀도 검색을 구현하는 HyDE를 제안한다. 이는 지시를 따르는 언어모델을 통해 가짜 문서를 생성하고, 이로 인해 유사한 관련성 패턴을 시뮬레이션한 후, 대조적 인코더의 의미적 임베딩을 사용해 실제 문서를 검색한다. 관련성 레이블이나 미세조정 없이도, 여러 작업과 언어에서 미세조정된 밀도 검색기와 유사한 성능을 달성하며, Contriever와 같은 비지도 기반 기준보다도 뚜렷이 뛰어나다.

ABSTRACT

While dense retrieval has been shown effective and efficient across tasks and languages, it remains difficult to create effective fully zero-shot dense retrieval systems when no relevance label is available. In this paper, we recognize the difficulty of zero-shot learning and encoding relevance. Instead, we propose to pivot through Hypothetical Document Embeddings~(HyDE). Given a query, HyDE first zero-shot instructs an instruction-following language model (e.g. InstructGPT) to generate a hypothetical document. The document captures relevance patterns but is unreal and may contain false details. Then, an unsupervised contrastively learned encoder~(e.g. Contriever) encodes the document into an embedding vector. This vector identifies a neighborhood in the corpus embedding space, where similar real documents are retrieved based on vector similarity. This second step ground the generated document to the actual corpus, with the encoder's dense bottleneck filtering out the incorrect details. Our experiments show that HyDE significantly outperforms the state-of-the-art unsupervised dense retriever Contriever and shows strong performance comparable to fine-tuned retrievers, across various tasks (e.g. web search, QA, fact verification) and languages~(e.g. sw, ko, ja).

연구 동기 및 목표

• 관련성 감독이나 모델 미세조정 없이도 완전히 제로샷 밀도 검색 시스템을 개발하는 것.
• 관련성 레이블이 없는 저자원 또는 실세계 환경에서 효과적인 밀도 검색을 수행하는 데 도전하는 것.
• 관련성 모델링을 큰 언어모델에 위임함으로써 명시적 관련성 점수 계산에 의존하지 않는지 탐구하는 것.
• 지시 기반 생성 모델의 출력으로 유도된 대조적 인코더가 미세조정 없이도 관련 문서를 효과적으로 검색할 수 있는지 보여주는 것.

제안 방법

• 입력 쿼리에 답하는 가짜 문서를 생성하기 위해 지시를 따르는 언어모델(예: InstructGPT)을 사용하여 관련 문서를 시뮬레이션한다.
• 비지도 대조적 인코더(예: Contriever)를 사용해 생성된 가짜 문서를 밀도 임베딩으로 인코딩한다.
• 가짜 문서 임베딩과 모든 실제 문서 임베딩 간의 코사인 유사도를 계산하여 코퍼스에서 실제 문서를 검색한다.
• 대조적 인코더의 밀도 잠금 구조를 활용해 생성된 문서에서 환각되거나 잘못된 정보를 걸러낸다.
• 다양한 작업과 언어에서 동일한 인코더와 언어모델 기반 아키텍처 및 하이퍼파라미터를 그대로 사용한다.
• 모든 구성 요소에 대해 훈련 또는 미세조정을 수행하지 않으며, 두 모델을 모두 동결 상태로 유지한다.

실험 결과

연구 질문

• RQ1 실제 문서에 접근할 수 없는 상황에서 언어모델이 관련성 패턴을 반영하는 문서 유사 응답을 생성할 수 있는가?
• RQ2 환각 가능성이 있는 가짜 문서의 임베딩만으로도 대조적 인코더가 관련 실제 문서를 효과적으로 검색할 수 있는가?
• RQ3 관련성 레이블이 없는 상황에서 이 제로샷 접근 방식이 Contriever와 같은 비지도 밀도 검색 기준보다 뛰어나게 성능을 발휘하는가?
• RQ4 다양한 언어와 작업에서 HyDE는 미세조정된 밀도 검색기와 비교해 어떻게 성능을 내는가?
• RQ5 미세조정 없이도 생성 모델의 출력으로 유도된 대조적 인코더의 성능을 향상시킬 수 있는가?

주요 결과

• HyDE는 웹 검색, 질의 응답, 사실 확인 작업 등에 걸쳐 11개 벤치마크 데이터셋에서 비지도 기반 기준인 Contriever보다 뚜렷이 뛰어나다.
• TREC DL19/20에서 InstructGPT와 Contriever를 사용한 HyDE는 각각 NDCG@10 61.3과 57.9를 기록했으며, 비지도 기반 Contriever(44.5와 42.1)를 뛰어넘었다.
• 175B 파라미터를 가진 GPT 모델을 사용한 HyDE는 DL19에서 NDCG@10 61.3을 기록했으며, 동일한 데이터셋에서 미세조정된 mContriever 모델(62.1)을 뛰어넘었다.
• 더 큰 지시 기반 언어모델(예: Cohere 52B, GPT 175B)을 사용할수록 더 작은 모델(예: Flan-T5 11B)보다 일관되게 성능 향상을 보이며, 모델 규모가 성능 향상에 기여함을 시사한다.
• 강력한 언어모델(GPT-175B)과 미세조정된 인코더를 함께 사용할 경우 성능이 더욱 향상되었으며, DL19에서 NDCG@10 67.4를 기록했다. 이는 생성 모델과 인코더 컴포넌트 간에 상호보완적인 강점이 있음을 시사한다.
• HyDE는 스와힐리어, 한국어, 일본어 등 다양한 언어에서 강력한 제로샷 일반화 성능을 보이며, 미세조정되지 않은 모델보다 뛰어나고, 미세조정된 시스템과도 맞먹는 성능을 발휘한다.