[論文レビュー] Repeatability Corner Cases in Document Ranking: The Impact of Score Ties

Jimmy Lin, Peilin Yang|arXiv (Cornell University)|Jul 16, 2018

Information Retrieval and Search Behavior参考文献 12被引用数 5

ひとこと要約

この論文は、Luceneにおけるマルチスレッドインデクシング時の非決定的内部文書ID割り当てによって引き起こされるスコアの同順位が、情報検索実験における再現性を損なう仕組みを調査する。スコアの同順位を安定した外部文書IDを用いて解消することで、決定的ランク付けを実現するが、その代償として測定可能なクエリパフォーマンスの低下が生じる。本研究では、このトレードオフがIRシステムにおける信頼性のあるレグRESSIONテストに不可欠であることを示している。

ABSTRACT

Document ranking experiments should be repeatable. However, the interaction between multi-threaded indexing and score ties during retrieval may yield non-deterministic rankings, making repeatability not as trivial as one might imagine. In the context of the open-source Lucene search engine, score ties are broken by internal document ids, which are assigned at index time. Due to multi-threaded indexing, which makes experimentation with large modern document collections practical, internal document ids are not assigned consistently between different index instances of the same collection, and thus score ties are broken unpredictably. This short paper examines the effectiveness impact of such score ties, quantifying the variability that can be attributed to this phenomenon. The obvious solution to this non-determinism and to ensure repeatable document ranking is to break score ties using external collection document ids. This approach, however, comes with measurable efficiency costs due to the necessity of consulting external identifiers during query evaluation.

研究の動機と目的

• マルチスレッド処理におけるLuceneインデクシング時の非決定的スコア同順位が、IR実験における再現性にどのように悪影響を及えるかを調査すること。
• スコア同順位が多様なテストコレクションにおける効果的指標に与える影響を定量化すること。
• 外部文書IDに基づく同順位解消による決定的ランク付けを実現する際のパフォーマンスコストを評価すること。
• IRシステムにおける信頼性のあるレグRESSIONテストの観点から、外部IDに基づく同順位解消を必須の実践手法として提唱すること。

提案手法

• Anserini v0.1.0とLucene 6.3.0を用いて、複数のTRECコレクションにおいて、非再現的（内部IDベース）および再現的（外部IDベース）ランク付けを実証的に比較する。
• 標準的なIR評価指標（AP、P30）を用いて、スコア同順位解消の方法による効果的指標の差を測定する。
• 非再現的および再現的構成間でのクエリ評価遅延の差を測定する。
• 安定した外部文書識別子を用いて結果をソートすることで、決定的同順位解消を実装する。
• 既存のLucene抽象化を活用してソート順序を制御し、実行間で一貫した結果を得る。
• ニュース記事、マイクロブログ、ウェブコレクションを含む多様なドキュメントタイプにおける結果を分析する。

実験結果

リサーチクエスチョン

• RQ1 非決定的内部文書IDによるスコア同順位が、Luceneベースのシステムにおけるドキュメントランク付けの再現性にどの程度影響を及えるか？
• RQ2 異なるIRテストコレクションにおいて、任意のスコア同順位解消がAPおよびP30に与える効果的指標の差はどの程度顕著か？
• RQ3 外部文書IDを用いた同順位解消による再現性のあるランク付けを実現する際のパフォーマンスオーバーヘッドはどの程度か？
• RQ4 パフォーマンスコストは、異なるクエリタイプおよびコレクション間でどのように変動するか？

主な発見

• 非決定的内部文書ID割り当てに起因するスコア同順位により、効果的指標に測定可能で顕著な差が生じており、APの最大差は0.0027、P30の最大差は0.0027に達する。
• TREC 2005 Robust Track（AQUAINT）で最も顕著な効果的指標の差が観察され、QL+RM3ではP30差が0.0027、BM25+RM3では0.0020に達した。
• TREC 2013/2014 マイクロブログトラックにおいて、QL+RM3のクエリ評価遅延は、再現的同順位解消を採用した場合に最大90%まで上昇した。
• 平均して、再現的実行は非再現的実行よりも18–26%遅く、特に短く高精度なマイクロブログクエリで最も高いオーバーヘッドが発生した。
• BM25+RM3のような複雑なクエリでは、より多くのポストイングをスキャンし、より多くのドキュメントをスコアリングする必要があるため、パフォーマンスコストが顕著に顕在された。
• 効果的指標の差が絶対値としては小さいものの、非決定性はIR研究におけるレグRESSIONテストおよび再現性の実現に深刻な脅威をもたらす。