[論文レビュー] Query Performance Prediction for Neural IR: Are We There Yet?

Guglielmo Faggioli, Thibault Formal+4 more|arXiv (Cornell University)|Feb 20, 2023

Information Retrieval and Search Behavior被引用数 5

ひとこと要約

この論文は、既存のクエリパフォーマンス予測（QPP）モデルが、BERT やその他の PLM に基づくニューラル IR システムのパフォーマンスを効果的に予測できるかを調査している。その結果、現在の QPP 手法はニューラル IR において顕著に性能を発揮せず、特にニューラルモデルと従来の語彙的モデルの差が最も大きいクエリでは、QPP の実用性が損なわれ、意味的検索の文脈におけるモデル選択の支援としての有効性が低下することが判明した。

ABSTRACT

Evaluation in Information Retrieval relies on post-hoc empirical procedures, which are time-consuming and expensive operations. To alleviate this, Query Performance Prediction (QPP) models have been developed to estimate the performance of a system without the need for human-made relevance judgements. Such models, usually relying on lexical features from queries and corpora, have been applied to traditional sparse IR methods - with various degrees of success. With the advent of neural IR and large Pre-trained Language Models, the retrieval paradigm has significantly shifted towards more semantic signals. In this work, we study and analyze to what extent current QPP models can predict the performance of such systems. Our experiments consider seven traditional bag-of-words and seven BERT-based IR approaches, as well as nineteen state-of-the-art QPPs evaluated on two collections, Deep Learning '19 and Robust '04. Our findings show that QPPs perform statistically significantly worse on neural IR systems. In settings where semantic signals are prominent (e.g., passage retrieval), their performance on neural models drops by as much as 10% compared to bag-of-words approaches. On top of that, in lexical-oriented scenarios, QPPs fail to predict performance for neural IR systems on those queries where they differ from traditional approaches the most.

研究の動機と目的

• BERT や PLM を基盤とする現代的なニューラル IR システムに対して、最先端の QPP モデルの有効性を評価すること。
• 従来、語彙的 IR に特化して構築された QPP モデルが、意味的検索のパラダイムに一般化できるかを調査すること。
• 特にニューラルモデルと従来のモデルの差が最も大きいクエリのような状況において、QPP の性能が低下するメカニズムを同定すること。
• 意味的信号が QPP の信頼性に与える影響を評価し、ニューラル-IR 専用の QPP メソッドの必要性を強調すること。

提案手法

• 19 種類の最先端 QPP モデルを、7 つの bag-of-words TIR システムと 7 つの BERT ベースの NIR モデルで評価した。
• 2 つの標準的な IR コレクションを用いた：Deep Learning '19（ニューラル最適化済み）と Robust '04（ニューラルモデルにゼロショットで適用可能）。
• 語彙的および意味的信号に依存する前処理および後処理の両方の QPP 方法を適用した。
• nDCG や Kendall’s tau といった標準指標を用いて、TIR および NIR システム間での QPP のパフォーマンスを比較した。
• TIR と NIR モデルのパフォーマンス差が最大となるクエリに対して、アブレーションスタディを実施し、失敗要因を特定した。
• QPP モデルと検索システムの間の相互作用効果を分析し、予測のばらつきを定量化した。

実験結果

リサーチクエスチョン

• RQ1 現在の QPP モデルは、従来の語彙的 IR と比較して、どの程度ニューラル IR システムのパフォーマンスを予測できるか？
• RQ2 ニューラルモデルと従来の IR モデルのランク付け効果に差が最も大きいクエリにおいて、QPP のパフォーマンスはどのように変化するか？
• RQ3 意味的ベースの QPP メソッド（例：BERT-QPP）は、語彙的ベースの QPP よりもニューラル IR システムで優れた性能を示すか？
• RQ4 ニューラルモデルが微調整されたコレクションとゼロショットで使用されるコレクションの両方において、QPP モデルの失敗は顕著に顕在化するか？
• RQ5 特に困難なクエリにおいて、QPP モデルを用いて TIR と NIR システムの間を信頼性を持って選択可能か？

主な発見

• 現在の QPP モデルは、従来の bag-of-words IR システムと比較して、ニューラル IR システムにおいて統計的に有意に劣る性能を示している。
• 意味的信号が顕著なパassage リトリーブタスクでは、QPP のパフォーマンスが TIR システムと比較して最大で 10% 減少している。
• TIR と NIR モデルのパフォーマンス差が最大となるクエリでは、QPP モデルが正確な予測を実行できず、むしろこのようなクエリにおいて QPP が最も役立つべき場面で失敗している。
• パフォーマンス差が大きいクエリでは、QPP モデルと検索システムの間の相互作用が顕著に増加しており、信頼性の低下を示している。
• BERT-QPP などの意味的 QPP メソッドは、語彙的 IR では有効であるが、ニューラル IR システムでは性能が低く、根本的な問題を解決していない。
• Robust '04 では、ニューラルモデルがゼロショットで使用されるため、Deep Learning '19 よりも QPP のパフォーマンスが良好であるが、依然としてニューラルモデルと語彙的モデルの差が最大となるクエリでは失敗している。