[논문 리뷰] Dense X Retrieval: What Retrieval Granularity Should We Use?

Tong Chen, Hongwei Wang외 6명|arXiv (Cornell University)|2023. 12. 11.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 밀도 있는 검색에서 검색 단위로 개념문(자기 포함된 원자적 사실 진술)을 사용하는 것을 제안하며, 기존의 문장 또는 문단 수준의 검색과 비교해 검색 정확도와 후속 오픈 도메인 QA 성능이 크게 향상됨을 보여준다. 주요 기여는 영어 위키백과의 2,500만 개 개념문으로 구성된 FactoidWiki라는 인덱스로, 더 정밀하고 정보 밀도가 높은 검색이 가능해지며, 문맥 길이가 줄어든다.

ABSTRACT

Dense retrieval has become a prominent method to obtain relevant context or world knowledge in open-domain NLP tasks. When we use a learned dense retriever on a retrieval corpus at inference time, an often-overlooked design choice is the retrieval unit in which the corpus is indexed, e.g. document, passage, or sentence. We discover that the retrieval unit choice significantly impacts the performance of both retrieval and downstream tasks. Distinct from the typical approach of using passages or sentences, we introduce a novel retrieval unit, proposition, for dense retrieval. Propositions are defined as atomic expressions within text, each encapsulating a distinct factoid and presented in a concise, self-contained natural language format. We conduct an empirical comparison of different retrieval granularity. Our experiments reveal that indexing a corpus by fine-grained units such as propositions significantly outperforms passage-level units in retrieval tasks. Moreover, constructing prompts with fine-grained retrieved units for retrieval-augmented language models improves the performance of downstream QA tasks given a specific computation budget.

연구 동기 및 목표

• 검색의 세분성(granularity)이 밀도 있는 검색 및 후속 QA 성능에 미치는 영향을 조사하는 것.
• 너무 넓은(문단) 또는 너무 미세한(문장) 검색 단위의 한계를 해결하는 것—즉, 관련 없는 문맥이 포함되거나 스스로 완전하지 못한 단위의 문제를 해결하는 것.
• 밀도 있는 검색을 위한 새로운 원자적이고 자기 포함적인 검색 단위로 개념문을 제안하고 평가하는 것.
• 고정된 문맥 예산 내에서 위키백과를 개념문 수준으로 인덱싱함으로써 검색 정확도와 후속 QA 성능 향상을 입증하는 것.
• 앞으로의 연구를 위해 FactoidWiki를 공개하는 것—이를 통해 대규모의 개념문 기반 위키백과 코퍼스를 활용할 수 있다.

제안 방법

• 사전 훈련된 소형 언어 모델을 미세조정하여 영어 위키백과를 개념문으로 분할하는 방법을 사용한다.
• 600만 개의 위키백과 페이지에서 유래한 총 2,500만 개의 개념문으로 구성된 FactoidWiki 코퍼스를 구축한다.
• 세 가지 세분성 수준에서 코퍼스를 인덱싱한다: 문단(100자 단위 조각), 문장, 개념문.
• 동일한 검색 모델과 고정된 문맥 예산을 사용하여, 여섯 가지 듀얼 인코더 기반 밀도 있는 검색 모델(예: Contriever, GTR)을 사용해 검색 및 후속 QA 작업을 평가한다.
• 표준 평가 지표를 사용해 성능을 측정한다: 다섯 개인터넷 기반 QA 벤치마크에서의 검색 Recall@10 및 답변 F1.
• 공정한 비교를 위해 고정된 수의 검색 토큰을 사용하여, 입력 길이를 최소화하면서도 관련 정보의 밀도를 극대화한다.

Figure 2: We discover that segmenting and indexing a retrieval corpus on the proposition level can be a simple yet effective strategy to increase dense retrievers’ generalization performance at inference time (A, B) . We empirically compare the retrieval and downstream open-domain QA tasks performan

실험 결과

연구 질문

• RQ1 문단, 문장, 개념문 수준의 검색 세분성은 밀도 있는 검색 성능에 어떤 영향을 미치는가?
• RQ2 기존의 단위와 비교해 개념문 수준의 인덱싱이 검색 정확도와 후속 QA 성능 향상에 기여하는가?
• RQ3 정보 밀도를 높임으로써 개념문 기반 검색이 장기적인 입력 시퀀스의 필요성을 줄일 수 있는가?
• RQ4 동일한 모델이 다양한 인덱싱 세분성 수준에 적용되었을 때, 밀도 있는 검색 모델의 성능는 어떻게 변화하는가?
• RQ5 개념문 기반 검색은 다양한 오픈 도메인 QA 데이터셋에 대해 얼마나 일반화되는가?

주요 결과

• 다섯 개인터넷 기반 QA 벤치마크에서, 개념문 기반 검색은 문단 수준 및 문장 수준 검색보다 검색 Recall@10 및 후속 QA F1에서 모두 뛰어난 성능을 보였다.
• Natural Questions 및 TriviaQA 벤치마크에서, 동일한 검색 모델과 문맥 예산을 사용했을 때, 개념문 기반 검색은 문단 수준 검색 대비 최대 8.5% 높은 F1 점수를 기록했다.
• 개념문 사용으로 평균 입력 길이가 문단 검색 대비 40~50% 감소했으며, 이는 정확도 유지 또는 향상와 함께 이루어졌다.
• 영어 위키백과의 2,500만 개 개념문으로 구성된 FactoidWiki는 성공적으로 구축되어 향후 연구를 위한 자원으로 공개되었다.
• 여섯 가지 다른 밀도 있는 검색 모델을 대상으로도 개념문 기반 검색의 성능 향상이 일관되게 관찰되어, 이 방법이 모델 아키텍처와 독립적이고 강건함을 입증했다.
• 개념문 기반 검색은 불필요한 세부 정보(예: 복원기 간의 이주 데이터 등)의 포함을 최소화하여, 후속 모델에 더 깔끔하고 집중적인 입력을 제공했다.

Figure 3: Document retrieval recall vs. the popularity of the target entity in each question from the EntityQuestions dataset. The popularity of each entity (i.e. smaller value $\Rightarrow$ less common entities, and vice versa) is estimated by the occurrence of the entity in its top-1000 passage re