[논문 리뷰] Overview of the TREC 2020 deep learning track

Nick Craswell, Bhaskar Mitra외 2명|arXiv (Cornell University)|2021. 02. 15.

Topic Modeling참고 문헌 9인용 수 117

한 줄 요약

본 논문은 두 번째 TREC 딥러닝 트랙을 보고, 문서 및 단락 검색에서 대규모 학습 데이터 환경에서 신경망(특히 BERT 스타일)과 전통적 랭킹 방법을 비교하고, end-to-end 대 rerank 파라다임과 ORCAS 데이터 세트의 영향을 분석한다.

ABSTRACT

This is the second year of the TREC Deep Learning Track, with the goal of studying ad hoc ranking in the large training data regime. We again have a document retrieval task and a passage retrieval task, each with hundreds of thousands of human-labeled training queries. We evaluate using single-shot TREC-style evaluation, to give us a picture of which ranking methods work best when large data is available, with much more comprehensive relevance labeling on the small number of test queries. This year we have further evidence that rankers with BERT-style pretraining outperform other rankers in the large data regime.

연구 동기 및 목표

• 대규모 데이터 환경에서 애드호크 랭킹을 위한 크고 재사용 가능한 학습 및 테스트 데이터 세트를 제공한다.
• 랭킹 방법을 비교하기 위한 엄격하고 무작위 blind 단일샷 평가를 확립한다.
• 종단 간(end-to-end) 및 재랭킹 구성을 포함하여 문서 검색 및 단락 검색을 평가한다.
• ORCAS 데이터 및 다른 라벨 체계가 평가에 미치는 영향을 분석한다.
• 다양한 접근법을 장려하고 작년의 학습에서 얻은 교훈을 분석한다.

제안 방법

• 두 개의 대규모 학습 데이터 세트(문서 및 단락)와 해당 테스트 컬렉션을 제공한다.
• 추가 학습 데이터로서 또는 문서 필드로서 대규모 ORCAS 클릭 데이터 세트를 포함한다.
• 제출된 런을 nnlm, nn, 및 trad 범주로 분류하여 프리트레이닝된 언어 모델 기반, 신경망, 전통 방법을 비교한다.
• NDCG@10을 네 점수 NIST 판단으로 평가하고 보조 지표(RR MS, RR, AP, NCg@k) 포함한다.
• 엔드 투 엔드 풀랭크(end-to-end fullrank) 대 재랭킹(rerank)을 구분하여 어떤 단계가 성능에 더 기여하는지 평가한다.
• MS MARCO 와 NIST 라벨 간의 교차 데이터 합치?를 분석하고 ORCAS 데이터가 성능에 미치는 영향을 비교한다.

실험 결과

연구 질문

• RQ1 대규모 데이터 IR 환경에서 문서 및 단락 검색에 대해 BERT 스타일 프리트레인 모델(nnlm)이 다른 방법을 능가하는가?
• RQ2 top-k 랭킹 품질에 대해 엔드투엔드 풀랭크 대 재랭킹의 상대적 영향은 무엇인가?
• RQ3 ORCAS 데이터가 성능과 MS MARCO 및 NIST 라벨 기반 평가 간 일치에 어떤 영향을 미치는가?
• RQ4 다양한 학습 데이터하에서 전통 IR 방법이 신경망 접근법과 경쟁할 수 있는가? 어떤 조건에서 실패하는가?
• RQ5 평가 라벨 선택(NIST vs MS MARCO)이 모델 효율성에 대한 결론에 어떤 영향을 주는가?

주요 결과

• nnlm 런은 제출된 결과에서 NDCG@10 기준으로 trad 및 nn 런보다 두 태스크 모두에서 우수.
• 문서 검색에서 최상의 nnlm/런은 최상의 trad보다 23% 높고, 최상의 nn은 11% 높다; 단락 검색의 차이는 각각 42% 및 17%.
• 엔드투엔드 fullrank가 이 트랙에서 재랭킹을 항상 능가하지는 않을 수 있으며, 일부 톱 런은 재랭킹이고 fullrank가 때때로 재랭킹에 비해 비슷하거나 근소하게 우수하다.
• ORCAS 데이터를 사용하면 일반적으로 같은 그룹 내에서 NDCG@10이 개선되지만 최상위 점수를 달성하는 데 필요하지는 않았다; 최대 관찰된 개선은 약 0.0513 in NDCG@10.
• MS MARCO 대 NIST 라벨 일치는 태스크에 따라 다르며, 문서 검색에서 Kendall tau 0.46, 단락 검색에서 0.69; ORCAS 사용은 이러한 상관관계에 영향을 준다.
• 트랙은 더 다양한 제출물(더 많은 nnlm 및 fullrank/ rerank 비교 포함)을 produced 하고 미래 연구를 위한 재사용 가능한 테스트 컬렉션을 제공했다.