[論文レビュー] Better than the real thing? Iterative pseudo-query processing using cluster-based language models

Oren Kurland, Lillian Lee+1 more|ArXiv.org|Jan 11, 2006

Topic Modeling参考文献 23被引用数 10

ひとこと要約

本稿では、クラスタベースの言語モデルを用いた反復的擬似クエリ検索手法を提案し、アドホック情報検索の性能を向上させる。上位に検索されたドキュメントを擬似クエリとして扱い、クラスタレベルの言語モデルを用いた再順序付けを行うことで、アスペクトリコールを向上させるとともに、クエリドリフトを低減し、リlevanceモデルやRocchioといった最先端手法と同等の性能を達成する。

ABSTRACT

We present a novel approach to pseudo-feedback-based ad hoc retrieval that uses language models induced from both documents and clusters. First, we treat the pseudo-feedback documents produced in response to the original query as a set of pseudo-queries that themselves can serve as input to the retrieval process. Observing that the documents returned in response to the pseudo-queries can then act as pseudo-queries for subsequent rounds, we arrive at a formulation of pseudo-query-based retrieval as an iterative process. Experiments show that several concrete instantiations of this idea, when applied in conjunction with techniques designed to heighten precision, yield performance results rivaling those of a number of previously-proposed algorithms, including the standard language-modeling approach. The use of cluster-based language models is a key contributing factor to our algorithms' success.

研究の動機と目的

• 従来の擬似フィードバックの限界、特にアスペクトリコールの低さとクエリドリフトを是正すること。
• 上位に検索されたドキュメントを擬似クエリとして扱い、反復的に精錬することで検索性能を向上させること。
• クラスタベースの言語モデルを用いてコーパスの構造を活用し、ユーザーの情報ニーズの潜在的側面を捉えること。
• 元のクエリへの忠実度を保つ再アンカリング技術を用いてクエリドリフトを低減すること。
• ドキュメントのレンダリングから得られる擬似クエリが、元のクエリを上回る検索効果を発揮するかどうかを評価すること。

提案手法

• 本手法は、クエリに対して上位にランク付けされたドキュメントを擬似クエリとして扱い、それらを次の検索イテレーションの入力として用いる。
• ドキュメントクラスタから構築されたクラスタベースの言語モデルは、ユーザーの情報ニーズの潜在的側面を表現し、アスペクトリコールを向上させる。
• P*補間や切り捨てられたP*再順序付けといった再アンカリング技術により、クエリドリフトの低減が達成される。これらは元のクエリへの関連性を保つ。
• 本手法は、現在の擬似クエリをどれだけよくレンダリングするかに応じて、ドキュメントのランク付けに言語モデル確率を用いる。
• 複数のイテレーションを実行し、各ラウンドで直前のラウンドの最良レンダラーから構成される擬似クエリのセットを精錬する。
• 本手法は、複数のコーパスで標準的なIRメトリクスを用いて評価され、ベースラインおよび最先端のアプローチと比較される。

実験結果

リサーチクエスチョン

• RQ1 ドキュメントレンダリングを新たなクエリとして用いる反復的擬似クエリ処理は、標準的な言語モデル手法を上回る検索性能を達成できるか？
• RQ2 ドキュメントレベルのモデルと比較して、クラスタベースの言語モデルはどの程度アスペクトリコールを向上させるか？
• RQ3 反復的検索におけるクエリドリフト低減に、再アンカリング技術はどの程度効果的か？
• RQ4 初期に検索されたドキュメント数τ₁を増加させると性能が低下するか？また、本手法はその影響をどのように処理するか？
• RQ5 上位に検索されたドキュメントから得られる擬似クエリは、元のクエリを上回る検索効果を発揮できるか？

主な発見

• 提案されたクラスタベースの反復的手法は、標準的な言語モデル手法と比較して平均精度およびリコールにおいて顕著な向上を達成した。
• P*補間が最も効果的なクエリドリフト防止技術であり、全コーパスにおいて切り捨てられたP*再順序付けを上回った。
• 本手法はτ₁（初期に検索されたドキュメント数）の増加に対してより高いロバスト性を示し、τ₁が増加しても高い精度を維持した。
• クラスタベース手法はτ₁の増加に伴いリコールが上昇する垂直的トレンドを示した一方、クリッピングされたリlevanceモデルは水平的劣化を示し、両者の相補的な強みが明らかになった。
• クラスタベースモデルを用いた反復的アプローチは、擬似フィードバックにおけるRocchioおよびLavrenkoとCroftのリlevanceモデルと同等またはそれ以上の結果を達成した。
• 繰り返しP*補間は2つのコーパスにおいてP*補間と同等の性能を示し、イテレーション全体にわたり安定性とスケーラビリティがあることが示された。