[논문 리뷰] Repeatability Corner Cases in Document Ranking: The Impact of Score Ties

Jimmy Lin, Peilin Yang|arXiv (Cornell University)|2018. 07. 16.

Information Retrieval and Search Behavior참고 문헌 12인용 수 5

한 줄 요약

이 논문은 Lucene에서 다중 스레드 인덱싱 중 비결정적인 내부 문서 ID 할당으로 인해 발생하는 점수 동점이 문서 순위 매기기에서 재현 가능성에 어떻게 악영향을 미치는지 조사한다. 결정론적 순위 매기기를 보장하기 위해 안정적인 외부 문서 ID를 사용해 동점을 해소하는 방법을 제안하며, 이는 쿼리 성능 저하를 수반하지만, IR 시스템에서 신뢰할 수 있는 회귀 테스트를 위해 반드시 필요하다는 것을 입증한다.

ABSTRACT

Document ranking experiments should be repeatable. However, the interaction between multi-threaded indexing and score ties during retrieval may yield non-deterministic rankings, making repeatability not as trivial as one might imagine. In the context of the open-source Lucene search engine, score ties are broken by internal document ids, which are assigned at index time. Due to multi-threaded indexing, which makes experimentation with large modern document collections practical, internal document ids are not assigned consistently between different index instances of the same collection, and thus score ties are broken unpredictably. This short paper examines the effectiveness impact of such score ties, quantifying the variability that can be attributed to this phenomenon. The obvious solution to this non-determinism and to ensure repeatable document ranking is to break score ties using external collection document ids. This approach, however, comes with measurable efficiency costs due to the necessity of consulting external identifiers during query evaluation.

연구 동기 및 목표

• 다중 스레드 Lucene 인덱싱에서 비결정적인 점수 동점 해소 방식이 IR 실험의 재현 가능성에 어떻게 악영향을 미치는지 조사하기.
• 다양한 테스트 컬렉션에서 점수 동점이 영향을 미치는 효과성 지표에 대한 영향을 정량화하기.
• 외부 문서 ID 기반의 동점 해소를 통해 결정론적 순위 매기기를 보장하는 데 드는 성능 비용을 평가하기.
• IR 시스템에서 신뢰할 수 있는 회귀 테스트를 위해 외부 ID 기반의 동점 해소를 필수적인 관행으로 주장하기.

제안 방법

• Anserini v0.1.0 및 Lucene 6.3.0를 사용하여 여러 TREC 컬렉션에서 내부 ID 기반의 비재현성과 외부 ID 기반의 재현성 순위 매기기를 경험적으로 비교하기.
• 표준 IR 평가 지표(AP, P30)를 사용하여 점수 동점 해소 방식에 의한 효과성 차이 측정하기.
• 비재현성 및 재현성 설정 간 쿼리 평가 지연 시간의 차이 측정하기.
• 내부 Lucene 문서 ID 대신 안정적인 외부 문서 식별자를 사용해 결정론적 동점 해소를 구현하기.
• 일致한 결과를 확보하기 위해 기존 Lucene 추상화를 활용해 정렬 순서 제어하기.
• 뉴스레터, 마이크로블로그, 웹 컬렉션 등 다양한 문서 유형에 걸쳐 결과 분석하기.

실험 결과

연구 질문

• RQ1 비결정적인 내부 문서 ID 할당으로 인한 점수 동점이 Lucene 기반 시스템에서 문서 순위 매기기의 재현 가능성에 어느 정도 영향을 미치는가?
• RQ2 다양한 IR 테스트 컬렉션에서 임의의 점수 동점 해소로 인해 발생하는 효과성 지표(AP 및 P30)의 차이가 얼마나 크며, 어떤가?
• RQ3 외부 문서 ID를 사용해 재현 가능한 순위 매기기를 보장하기 위해 드는 성능 오버헤드는 얼마인가?
• RQ4 성능 비용은 다양한 쿼리 유형과 컬렉션 간에 어떻게 달라지는가?

주요 결과

• 비결정적인 내부 문서 ID 할당으로 인한 점수 동점은 효과성 지표에 측정 가능한 비중 있는 영향을 미치며, AP의 최대 차이가 컬렉션 간 0.0027에 이르고, P30의 최대 차이도 0.0027에 이른다.
• TREC 2005 Robust Track(AQUAINT)에서 가장 큰 효과성 차이가 관찰되었으며, QL+RM3의 경우 P30 차이가 0.0027에 이르고, BM25+RM3의 경우 0.0020에 이르렀다.
• TREC 2013/2014 마이크로블로그 트랙에서 QL+RM3 쿼리에 대해 재현 가능한 동점 해소를 사용할 경우 쿼리 평가 지연 시간이 최대 90% 증가했다.
• 평균적으로 재현 가능한 런은 비재현 가능한 런보다 18–26% 느렸으며, 특히 짧고 고정밀도 마이크로블로그 쿼리에서 가장 높은 오버헤드가 발생했다.
• 복잡한 쿼리인 BM25+RM3의 경우 더 많은 포스트링스를 스캔하고 더 많은 문서를 점수 매겨야 하므로 성능 비용이 가장 두드러졌다.
• 효과성 지표의 절대적 차이가 작더라도, 비결정성은 IR 연구에서 회귀 테스트와 재현 가능성에 심각한 위협을 가한다.