[論文レビュー] Selective Term Proximity Scoring Via BP-ANN

Yang Ju, Jiancong Tong+5 more|arXiv (Cornell University)|Jun 23, 2016

Data Management and Algorithms参考文献 10被引用数 3

ひとこと要約

本論文は、バックプロパゲーション型人工ニューラルネットワーク（BP-ANN）を用いて、どのクエリがTPベースのランク付けから利益を受けるかを予測する、選択的項近接性（TP）スコアリングモデルを提案する。クエリ固有の特徴を学習することで、TPスコアリングを効果的である場合にのみ適用し、計算オーバーヘッドを低減しながらランク品質を向上させることに成功した。その結果、常に有効なTPスコアリングよりもMAPとスループットの両方が向上した。

ABSTRACT

When two terms occur together in a document, the probability of a close relationship between them and the document itself is greater if they are in nearby positions. However, ranking functions including term proximity (TP) require larger indexes than traditional document-level indexing, which slows down query processing. Previous studies also show that this technique is not effective for all types of queries. Here we propose a document ranking model which decides for which queries it would be beneficial to use a proximity-based ranking, based on a collection of features of the query. We use a machine learning approach in determining whether utilizing TP will be beneficial. Experiments show that the proposed model returns improved rankings while also reducing the overhead incurred as a result of using TP statistics.

研究の動機と目的

• 情報検索におけるすべてのクエリに項近接性（TP）スコアリングを適用する際の非効率さと、一貫性のない効果を是正すること。
• 常に有効なTPスコアリングによる計算オーバーヘッドを、有益なクエリのみを知的に選択することで低減すること。
• クエリ固有の特徴に基づき、関連性を向上させる場合にのみTPスコアリングを適用することで、ランク品質を向上させること。
• 機械学習を用いたクエリ選択により、検索の効果性と効率性のバランスを図ること。

提案手法

• モデルは、13個のクエリ特徴に基づいてクエリを分類するBP-ANNを用い、TPスコアリングがランクを改善するかどうかを予測する。
• 特徴には、クエリ長、項頻度、逆文書頻度、および平均的な項間距離などの近接関連統計が含まれる。
• BP-ANNは、TPがランク改善に寄与する場合（有益）を示す1、そうでない場合（非有益）を示す0の二値ラベルを予測するように学習される。
• モデルはランク付けパイプラインに統合され、有益と予測されたクエリにのみTPスコアリングが適用される。
• 非有益なクエリに対しては完全なTP計算が回避されるため、インデックスサイズとクエリ処理時間が削減される。
• 標準的な情報検索メトリクス（MAP、NDCG、精度）および実際のテストコレクションにおけるスループットを用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 文書ランク付けにおいて、どのクエリが真正に項近接性（TP）スコアリングの恩恵を受けるのか？
• RQ2 機械学習モデルは、与えられたクエリに対してTPスコアリングがランク効果を向上させるかどうかを正確に予測できるか？
• RQ3 選択的TP適用は、計算オーバーヘッドを低減させつつ、ランク品質を維持または向上させることができるか？
• RQ4 異なるクエリタイプや長さにおいて、選択的モデルの性能は、常に有効なTPと無TPのベースラインと比べてどうなるか？

主な発見

• 選択的TPモデル（_tpS）は、常に有効なTP（_tpAll）よりも高いMAPと平均NDCGを達成し、より優れたランク品質を示した。
• MRFランク式において、_tpSはMAP 0.4924を達成し、_tpAll（0.4883）を上回り、オラクル性能（0.5362）に近づいた。
• 選択的モデルは、_tpAllと比較して15%〜25%のスループット向上を達成した。EXP条件下では、_tpSは1秒あたり477.82クエリ（Q/s）を処理したのに対し、_tpAllは334.56 Q/sであった。
• k=1の精度において、_tpSは全クエリ長において_ tpAllを上回り、正確一致クエリに対してより強力な効果を示した。
• モデルは、TPを適用するクエリ数をEXPで143から80、MRFで143から69に削減し、非有益クエリの効果的なフィルタリングを実現した。
• BP-ANNモデルは、選択的スコアリングを用いたBM25TPモデルで1秒あたり98.57 Q/sのスループットを達成し、_tpAllの352.71 Q/sを大きく上回った。