[논문 리뷰] Can Old TREC Collections Reliably Evaluate Modern Neural Retrieval Models?

Ellen M. Voorhees, Ian Soboroff외 1명|arXiv (Cornell University)|2022. 01. 26.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 연구는 1999년에 구축된 TREC-8 광고형 테스트 컬렉션이 현대의 신경망 검색 모델 평가에 여전히 신뢰할 수 있는지 평가한다. 신경망 모델이 이전에 평가되지 않은 많은 문서를 검색하지만, 그 중 대부분은 관련성이 없음에도 불구하고, 원래의 평가 기준과 확장된 관련성 평가 기준을 사용한 런의 순위는 거의 동일하며, Kendall의 τ 상관계수는 0.99를 초과하여 이 컬렉션이 현대 시스템에 대해 여전히 재사용 가능한 것으로 입증된다.

ABSTRACT

Neural retrieval models are generally regarded as fundamentally different from the retrieval techniques used in the late 1990's when the TREC ad hoc test collections were constructed. They thus provide the opportunity to empirically test the claim that pooling-built test collections can reliably evaluate retrieval systems that did not contribute to the construction of the collection (in other words, that such collections can be reusable). To test the reusability claim, we asked TREC assessors to judge new pools created from new search results for the TREC-8 ad hoc collection. These new search results consisted of five new runs (one each from three transformer-based models and two baseline runs that use BM25) plus the set of TREC-8 submissions that did not previously contribute to pools. The new runs did retrieve previously unseen documents, but the vast majority of those documents were not relevant. The ranking of all runs by mean evaluation score when evaluated using the official TREC-8 relevance judgment set and the newly expanded relevance set are almost identical, with Kendall's tau correlations greater than 0.99. Correlations for individual topics are also high. The TREC-8 ad hoc collection was originally constructed using deep pools over a diverse set of runs, including several effective manual runs. Its judgment budget, and hence construction cost, was relatively large. However, it does appear that the expense was well-spent: even with the advent of neural techniques, the collection has stood the test of time and remains a reliable evaluation instrument as retrieval techniques have advanced.

연구 동기 및 목표

• 1999년에 구축된 TREC-8 광고형 테스트 컬렉션이 현대의 신경망 검색 모델 평가에 여전히 신뢰할 수 있는지 테스트하는 것.
• 신경망 모델이 이전에 평가되지 않은 관련성이 높은 문서를 상당수 검색하여 시스템 순위에 실질적인 영향을 미치는지 평가하는 것.
• 수동으로 구성된 풀링 기반 테스트 컬렉션이 그 제작에 참여하지 않은 시스템에 대해 얼마나 재사용 가능한지 평가하는 것.
• 원래 TREC-8 컬렉션의 고품질 수동 런이 평가 신뢰성 유지에 필수적인지 확인하는 것.

제안 방법

• 신규 런 다섯 개를 사용해 새로운 풀을 구성함: 세 개의 트랜스포머 기반 모델(TCT-ColBERT, monoBERT, uniCOIL)과 두 개의 BM25 기반 베이스라인, 이외에도 이전에 평가되지 않은 TREC-8 제출물 포함.
• 신규 런이 검색했지만 이전에 평가되지 않은 문서들에 대해 TREC 평가자들로부터 새로운 관련성 평가를 수집함.
• 공식 TREC-8 관련성 평가 기준과 확장된 평가 세트를 사용해 시스템 성능을 평가하고, 평균 점수와 순위를 비교함.
• 원래 qrels와 확장된 qrels를 사용한 시스템 순위 간의 Kendall’s τ 상관계수를 계산하여 상대적 성능의 안정성 측정.
• 수동 런을 제외한 TREC-8 컬렉션 재구성하여 수동 런의 영향이 평가 신뢰성에 미치는 영향 테스트.
• 수동 런 기여를 제외했을 때 손실된 관련 문서 비율 분석 및 그 영향이 시스템 순위에 미치는 영향 평가.

실험 결과

연구 질문

• RQ1 현대의 신경망 검색 모델은 TREC-8 컬렉션에서 이전에 평가되지 않은 관련성이 높은 문서를 상당수 검색하는가?
• RQ2 신경망 모델 출력에서 유도된 새로운 관련성 평가가 TREC-8에서 평가된 검색 시스템의 상대적 순위에 실질적인 영향을 미치는가?
• RQ3 수동 런은 현대 신경망 모델을 위한 TREC-8 테스트 컬렉션의 신뢰성과 재사용 가능성에 얼마나 중요한가?
• RQ4 수동 런 없이 자동 런만으로 구성된 테스트 컬렉션이 현대 시스템의 신뢰할 만한 평가를 위해 충분한 품질을 유지하는가?

주요 결과

• 신규 신경망 런이 검색했지만 이전에 평가되지 않은 문서 중 대부분은 관련성이 없었으며, 관련성이 새로 발견된 문서의 비율은 매우 작음.
• 원래 평가 기준과 확장된 평가 기준을 사용한 시스템 순위 간 Kendall’s τ 상관계수는 P@10 및 MAP 모두 0.99를 초과하여 상대적 성능이 거의 동일함을 나타냄.
• 수동 런을 원래 풀 구성에서 제외한 경우에도 상관계수는 매우 높았음(각각 P@10에 대해 0.9964, MAP에 대해 0.9818), 이는 수동 평가의 손실에 대해 매우 강건함을 보여줌.
• 원래 수동 런 전용으로 검색된 1,131개의 관련 문서 중 100개만 신규 런이 복구함. TCT-ColBERT는 50개, monoBERT는 22개, uniCOIL는 17개 복구.
• BM25+RM3 베이스라인은 수동 런 전용 관련 문서 중 단 두 개만 복구하여 신경망 모델의 검색 패턴과의 겹침이 미미함.
• 10% 이상의 알려진 관련 문서를 상실했음에도 불구하고 시스템 순위는 매우 안정적이었으며, 이는 TREC-8 컬렉션이 현대 신경망 모델에 대해 여전히 신뢰할 수 있는 평가 도구임을 시사함.