[논문 리뷰] Overview of the TREC 2019 deep learning track

Nick Craswell, Bhaskar Mitra외 3명|arXiv (Cornell University)|2020. 03. 17.

Topic Modeling참고 문헌 16인용 수 71

한 줄 요약

이 논문은 두 개의 임의 검색 작업이 있는 TREC 2019 딥러닝 트랙을 소개하고, 대규모 MS MARCO 기반 학습 데이터, 블라인드 평가, nnlm, nn, 및 전통 IR 방법 간의 비교를 포함하며, 엔드-투-엔드 대 재랭킹 분석을 다룬다.

ABSTRACT

The Deep Learning Track is a new track for TREC 2019, with the goal of studying ad hoc ranking in a large data regime. It is the first track with large human-labeled training sets, introducing two sets corresponding to two tasks, each with rigorous TREC-style blind evaluation and reusable test sets. The document retrieval task has a corpus of 3.2 million documents with 367 thousand training queries, for which we generate a reusable test set of 43 queries. The passage retrieval task has a corpus of 8.8 million passages with 503 thousand training queries, for which we generate a reusable test set of 43 queries. This year 15 groups submitted a total of 75 runs, using various combinations of deep learning, transfer learning and traditional IR ranking methods. Deep learning runs significantly outperformed traditional IR runs. Possible explanations for this result are that we introduced large training data and we included deep models trained on such data in our judging pools, whereas some past studies did not have such training data or pooling.

연구 동기 및 목표

• 딥러닝 및 전통 랭킹 방법의 대규모 데이터 구간에서 재사용 가능한 대규모 학습 및 테스트 데이터세트를 제공한다.
• 랭킹 방법을 비교하기 위한 엄격한 블라인드 단일 샷 평가를 수행한다.
• 실용 IR 배치에서 엔드-투-엔드 검색 대 재랭킹을 연구한다.
• 일관된 평가 하에 신경 언어 모델, 신경 네트워크 접근법, 전통 IR 기준선을 비교한다.
• 대규모 검색에서 딥러닝 방법과 전통 인덱싱 간의 상호 작용을 탐구한다.]
• method01:[
• 두 가지 작업(document retrieval 및 passage retrieval)과 엔드-투-엔드 및 재랭킹 참여 형식(fullrank 대 rerank)을 포함한다.
• MS MARCO에서 도출된 대규모 학습 세트와 구문에서 문서로 라벨을 이전한 전이 라벨
• 런을 nnlm(사전 학습된 신경 언어 모델인 BERT/XLNet 등), nn(신경망), trad(전통 IR)로 분류한다.
• 주요 지표로 NDCG@10을 사용하고, 관련 결과의 재현성 추출을 평가하기 위한 보조 분석으로 NCG@k를 사용한다.
• 각 작업당 43개의 재사용 가능한 테스트 쿼리와 NIST의 블라인드 판단, 풀링 판단 및 HiCAL 보조 확장을 사용한다.
• 모델 유형과 그룹별로 43차원 NDCG 벡터를 t-SNE로 축소해 간 inter-run 유사성을 시각화한다.

제안 방법

• 두 가지 작업(document retrieval 및 passage retrieval)과 엔드-투-엔드 및 재랭킹 참여 형식(fullrank 대 rerank)을 포함한다.
• MS MARCO에서 도출된 대규모 학습 세트와 구문에서 문서로 라벨을 이전한 전이 라벨
• 런을 nnlm(사전 학습된 신경 언어 모델인 BERT/XLNet 등), nn(신경망), trad(전통 IR)로 분류한다.
• 주요 지표로 NDCG@10을 사용하고, 관련 결과의 재현성 추출을 평가하기 위한 보조 분석으로 NCG@k를 사용한다.
• 각 작업당 43개의 재사용 가능한 테스트 쿼리와 NIST의 블라인드 판단, 풀링 판단 및 HiCAL 보조 확장을 사용한다.
• 모델 유형과 그룹별로 43차원 NDCG 벡터를 t-SNE로 축소해 간 inter-run 유사성을 시각화한다.]
• research_questions:[
• 깊은 학습 모델(nnlm)이 대전통 IR 방법(trad)보다 대규모 데이터의 임의 검색 작업에서 우수한가?
• 문서 검색과 패시지 검색 작업에서 nnlm, nn, trad 방법은 어떻게 비교되는가?
• 엔드-투-엔드 검색(fullrank) 대 재랭킹(rerank)이 검색 효율성에 미치는 영향은 무엇인가?
• MS MARCO 기반 학습 라벨이 NIST 라벨을 사용하는 TREC 스타일 평가에 전이 가능하고 예측력이 있는가?

실험 결과

연구 질문

• RQ1 깊은 학습 모델(nnlm)이 대전통 IR 방법(trad)보다 대규모 데이터의 임의 검색 작업에서 우수한가?
• RQ2 문서 검색과 패시지 검색 작업에서 nnlm, nn, trad 방법은 어떻게 비교되는가?
• RQ3 엔드-투-엔드 검색(fullrank) 대 재랭킹(rerank)이 검색 효율성에 미치는 영향은 무엇인가?
• RQ4 MS MARCO 기반 학습 라벨이 NIST 라벨을 사용하는 TREC 스타일 평가에 전이 가능하고 예측력이 있는가?

주요 결과

• nnlm 실행은 문서 검색과 패시지 검색 작업에서 nn 및 trad 실행을 능가한다. 문서 검색의 NDCG@10에서 가장 좋은 nnlm 대 最佳 trad 차이는 29.4%이고, 패시지 검색에서 37.4%이다.
• 엔드-투-엔드 fullrank 제출이 재랭킹 제출을 일관되게 능가하지는 않으며, NDCG@10의 최대 차이는 문서에서 0.9%, 패시지에서 3.6%로 fullrank의 우위를 보였다.
• 문서 검색의 경우, 문서-2쿼리(doc2query) 강화와 함께 BM25+RM3 설정이 100- 후보 기반선 대비 22.9% 향상을 보인다.
• t-SNE 분석은 런이 그룹별 및 모델 유형( nnlm, nn, trad)으로 클러스터링됨을 보여주며 방법들 간의 유의미한 유사성을 나타낸다.
• MS MARCO 대 NIST 라벨 간 교차 평가에서 실행 순서에 일반적인 합의가 나타나 MS MARCO 결과가 전통적 TREC 성능의 지표가 됨을 뒷받침한다.]
• table_headers: [],
• table_rows: []