[논문 리뷰] Overview of the TREC 2021 deep learning track

Nick Craswell, Bhaskar Mitra외 3명|ArXiv.org|2025. 07. 10.

Topic Modeling인용 수 57

한 줄 요약

이 논문은 TREC Deep Learning Track의 3년 차를 보고하며, 문서 및 문장 검색에 대해 새로고침된 MS MARCO v2 데이터를 사용하고, 대규모 사전학습으로 인한 neural ranking이 전통적 방법을 일반적으로 능가함을 보이고, single-stage retrieval가 경쟁적이지만 multi-stage 파이프라인을 아직 따라잡지 못하며, 데이터 수집/포괄성 이슈를 다룬다.

ABSTRACT

This is the fifth year of the TREC Deep Learning track. As in previous years, we leverage the MS MARCO datasets that made hundreds of thousands of human-annotated training labels available for both passage and document ranking tasks. We mostly repeated last year's design, to get another matching test set, based on the larger, cleaner, less-biased v2 passage and document set, with passage ranking as primary and document ranking as a secondary task (using labels inferred from passage). As we did last year, we sample from MS MARCO queries that were completely held out, unused in corpus construction, unlike the test queries in the first three years. This approach yields a more difficult test with more headroom for improvement. Alongside the usual MS MARCO (human) queries from MS MARCO, this year we generated synthetic queries using a fine-tuned T5 model and using a GPT-4 prompt. The new headline result this year is that runs using Large Language Model (LLM) prompting in some way outperformed runs that use the "nnlm" approach, which was the best approach in the previous four years. Since this is the last year of the track, future iterations of prompt-based ranking can happen in other tracks. Human relevance assessments were applied to all query types, not just human MS MARCO queries. Evaluation using synthetic queries gave similar results to human queries, with system ordering agreement of $τ=0.8487$. However, human effort was needed to select a subset of the synthetic queries that were usable. We did not see clear evidence of bias, where runs using GPT-4 were favored when evaluated using synthetic GPT-4 queries, or where runs using T5 were favored when evaluated on synthetic T5 queries.

연구 동기 및 목표

• refreshed MS MARCO data (v2)를 사용하여 대규모 데이터에서 문서 및 패시지에 대한 ad hoc 검색 방법 벤치마크.
• 신경 랭킹 모델과 전통적 베이스라인을 전체 검색 및 reranking 설정에서 비교.
• Dense retrieval 및 단일 단계 vs 다단계 랭킹 파이프라인 분석 촉진.
• 판단 및 학습 라벨의 호환성에 대한 데이터 갱신의 영향 조사.

제안 방법

• 문서 및 패시지 순위 작업에서 전체 검색 및 top-100 reranking 하위작업을 위해 MS MARCO v2 데이터셋 활용.
• 대규모 사전학습(nnlm)을 가진 신경 랭킹 모델을 전통적 방법(trad) 및 기본 접근법과 비교 평가.
• Dense retrieval 사용하는지 여부와 랭킹이 단일 단계인지 다단계인지를 각 런을 주석으로 표기.
• NIST 판단 및 MS MARCO 라벨를 사용하여 RR, NDCG@10, NCG@100, AP와 같은 지표를 두 작업에 대해 보고.
• 엔드-투-엔드 검색 vs reranking 성능 및 단일 단계 vs 다단계 차이를 분석.

실험 결과

연구 질문

• RQ1 개 refreshed MS MARCO v2 데이터에서 대규모 사전학습이 문서 및 패시지 작업의 전통적 검색 방법에 비해 어떤 성능을 보이는가?
• RQ2 엔드-투-엔드 랭킹에서 단일 단계 검색과 다단계 검색 파이프라인 간의 성능 차이는 얼마나 되는가?
• RQ3 데이터 갱신(크기, 매핑, 인코딩 수정)이 학습 라벨, 판단 및 전체 평가에 어떤 영향을 미치는가?
• RQ4 dense retrieval이 문서와 패시지 작업 모두에서 특히 전체 검색 대 reranking 설정에서 일관된 이점을 제공하는가?

주요 결과

• 대규모 사전학습(nnlm)을 통한 신경 랭킹이 문서 및 패시지 작업 모두에서 전통적 방법을 크게 능가한다.
• NDCG@10에서 최고의 nnlm 문서 런은 최고의 trad 런보다 약 15% 포인트 개선되며, 최고의 nnlm 패시지 런은 일부 비교에서 더 큰 차이(~36%)를 보인다.
• 단일 단계(무거운) 검색은 경쟁력 있는 결과를 달성할 수 있지만 엔드-투-엔드 검색에서 양쪽 작업 모두에서 다단계 파이프라인에 뒤처진다.
• 최고의 fullrank(엔드-투-엔드 검색) 런은 rerank 런보다 문서와 패시지 작업에서 약 4–6% 포인트의 여유를 두고 우수하다.
• Dense retrieval 방법이 상위 제출에 나타나 신경 접근의 채택이 보이지만 전체 검색 설정에서의 우위는 일관되게 명확하지 않다.
• 쿼리 길이 분석에서 더 긴 쿼리가 더 판별력이 있는 경향이 있으며, 긴 쿼리 평가가 전체 쿼리 결과와 더 잘 일치한다는 상관관계가 나타난다.