[논문 리뷰] On Single and Multiple Representations in Dense Passage Retrieval

Craig Macdonald, Nicola Tonellotto외 1명|arXiv (Cornell University)|2021. 08. 13.

Topic Modeling참고 문헌 19인용 수 5

한 줄 요약

이 논문은 단일 표현(ANCE)과 다중 표현/표현(ColBERT)의 밀도형 문단 검색 방법을 비교하며, 응답 시간과 메모리 사용 측면에서 ANCE가 더 효율적이지만, MAP 및 MRR@10에서 ColBERT가 상당히 뛰어나며, 특히 어려운, 정의형, 복잡한 쿼리에서 뛰어난 성능을 보임을 보여준다. 본 연구는 TREC 2019 및 MSMARCO 데이터셋을 사용하여 동일한 조건에서 두 밀도 검색 유형 간의 첫 번째 직접 비교를 제공한다.

ABSTRACT

The advent of contextualised language models has brought gains in search effectiveness, not just when applied for re-ranking the output of classical weighting models such as BM25, but also when used directly for passage indexing and retrieval, a technique which is called dense retrieval. In the existing literature in neural ranking, two dense retrieval families have become apparent: single representation, where entire passages are represented by a single embedding (usually BERT's [CLS] token, as exemplified by the recent ANCE approach), or multiple representations, where each token in a passage is represented by its own embedding (as exemplified by the recent ColBERT approach). These two families have not been directly compared. However, because of the likely importance of dense retrieval moving forward, a clear understanding of their advantages and disadvantages is paramount. To this end, this paper contributes a direct study on their comparative effectiveness, noting situations where each method under/over performs w.r.t. each other, and w.r.t. a BM25 baseline. We observe that, while ANCE is more efficient than ColBERT in terms of response time and memory usage, multiple representations are statistically more effective than the single representations for MAP and MRR@10. We also show that multiple representations obtain better improvements than single representations for queries that are the hardest for BM25, as well as for definitional queries, and those with complex information needs.

연구 동기 및 목표

• 단일 표현(ANCE)과 다중 표현(ColBERT)의 밀도 검색 방법의 효과성을 직접 비교하는 것.
• 각 방법이 다양한 쿼리 유형에서 BM25 베이스라인 대비 어떻게 성능을 내는지 평가하는 것.
• 특정 쿼리 유형에서 한 방법이 다른 방법보다 뛰어나게 되는 경우를 특정하는 것.
• 검색 효과성과 계산 효율성 사이의 상호 교환 관계를 분석하는 것.
• 향후 두 표현 유형의 장점을 조합하는 하이브리드 접근 방식에 대한 통찰을 제공하는 것.

제안 방법

• 연구는 ANCE와 ColBERT 양쪽 모두에 동일한 TREC 2019 및 MSMARCO Dev 데이터셋을 사용하여 공정한 비교를 보장한다.
• ANCE는 각 문단을 [CLS] 토큰 임베딩 하나로 표현하지만, ColBERT는 문단 내 각 토큰에 대해 별도의 임베딩을 사용한다.
• 검색은 양 방법 모두에 대해 FAISS 근사 최근접 이웃 색인을 사용한다.
• 최종 순위는 쿼리와 문단 임베딩 간의 코사인 유사도를 기반으로 계산되며, ColBERT는 토큰 수준 매칭에서 최대 유사도 집계를 적용한다.
• 효과성 평가는 표준 정보 검색 메트릭인 MAP, MRR@10, 특정 쿼리 서브셋에 대한 정밀도@10을 사용하여 평가한다.
• 각 쿼리 분석을 통해 한 방법이 다른 방법보다著격히 뛰어나게 되는 경우를 파악하며, ColBERT의 어텐션 행렬 시각화도 수행한다.

실험 결과

연구 질문

• RQ1 표준 정보 검색 메트릭에서 단일 표현(ANCE)과 다중 표현(ColBERT)의 밀도 검색 방법은 효과성 측면에서 어떻게 비교되는가?
• RQ2 다중 표현(ColBERT)이 단일 표현(ANCE)보다著격히 뛰어나게 되는 쿼리 유형은 무엇이며, 반대로 ANCE가 더 우수한 경우는 언제인가?
• RQ3 BM25 베이스라인이 특히 어려워하는 쿼리에서 두 방법은 각각 어떻게 성능을 내는가?
• RQ4 응답 시간과 메모리 사용 측면에서 ANCE와 ColBERT 사이의 계산적 트레이드오프는 어떠한가?
• RQ5 각 쿼리 분석을 통해 한 방법의 표현 전략에 체계적인 약점이나 강점이 드러나는가?

주요 결과

• TREC 2019 데이터셋에서 ColBERT는 MAP 측면에서 ANCE를 유의미하게 뛰어넘었으며, 통계적으로 유의미한 향상이 있었다.
• MSMARCO Dev 세트에서 ColBERT는 MRR@10 측면에서 ANCE보다 높은 성능을 보였으며, 상위 10개 순위 성능이 더 우수함을 시사한다.
• BM25 베이스라인이 가장 어려워하는 쿼리에 대해서는 다중 표현(ColBERT)이 단일 표현(ANCE)보다 더 큰 향상을 보였다.
• 정의형 쿼리에 대해서는 ColBERT가 ANCE보다 더 효과적이었으며, TREC 2019에서 19개의 정의형 쿼리 중 16개에서 더 뛰어난 성능을 보였다.
• ANCE는 더 낮은 평균 응답 시간과 더 적은 메모리 점유도로 뛰어난 효율성을 보였다.
• 어떤 경우에는 ANCE가 단일 [CLS] 임베딩에서 정보 손실로 인해 복잡한 쿼리를 잘못 해석했으며, ColBERT는 서브워드 토크나이저로 인해 높은 유사도 토큰 쌍(예: 'ww1' 대 'ww2')에 과적합되는 경우가 있었다.