[論文レビュー] Features and Aggregators for Web-scale Entity Search

Uma Sawant, Soumen Chakrabarti|arXiv (Cornell University)|Mar 13, 2013

Topic Modeling参考文献 29被引用数 3

ひとこと要約

本論文は、スニペットレベルのスコアリングとエンティティレベルの集約を一括して最適化する、統合的かつトレーニング可能なフレームワークを提案する。判別的学習を用いて、エンティティレベルの関連性を直接最適化し、大規模でノイズの多いWebデータセットでMAPを8%向上させ、TRECでは最先端の性能を維持または上回った。

ABSTRACT

We focus on two research issues in entity search: scoring a document or snippet that potentially supports a candidate entity, and aggregating scores from different snippets into an entity score. Proximity scoring has been studied in IR outside the scope of entity search. However, aggregation has been hardwired except in a few cases where probabilistic language models are used. We instead explore simple, robust, discriminative ranking algorithms, with informative snippet features and broad families of aggregation functions. Our first contribution is a study of proximity-cognizant snippet features. In contrast with prior work which uses hardwired "proximity kernels" that implement a fixed decay with distance, we present a "universal" feature encoding which jointly expresses the perplexity (informativeness) of a query term match and the proximity of the match to the entity mention. Our second contribution is a study of aggregation functions. Rather than train the ranking algorithm on snippets and then aggregate scores, we directly train on entities such that the ranking algorithm takes into account the aggregation function being used. Our third contribution is an extensive Web-scale evaluation of the above algorithms on two data sets having quite different properties and behavior. The first one is the W3C dataset used in TREC-scale enterprise search, with pre-annotated entity mentions. The second is a Web-scale open-domain entity search dataset consisting of 500 million Web pages, which contain about 8 billion token spans annotated automatically with two million entities from 200,000 entity types in Wikipedia. On the TREC dataset, the performance of our system is comparable to the currently prevalent systems. On the much larger and noisier Web dataset, our system delivers significantly better performance than all other systems, with 8% MAP improvement over the closest competitor.

研究の動機と目的

• スニペットスコアリングとエンティティ検索における証拠集約のための統合的かつトレーニング可能なアプローチの欠如に対処すること。
• スニペットレベルの関連性ではなく、エンティティレベルの関連性を直接最適化する、強固で判別的なフレームワークの開発。
• 大規模なスケールのノイズを含むWebデータセットとTREC企業検索データセットを含む、多様なデータセット上でフレームワークを評価すること。
• さまざまな集約関数と特徴設計がエンティティランク付け性能に与える影響を調査すること。
• 5億ページのWebページと200万のエンティティを対象としたスケーラビリティと有効性の実証。

提案手法

• クエリ語の複雑さ（逆文書頻度による）とエンティティメンションへの語彙的近接度を統合的にモデル化する、普遍的な特徴符号化を提案。固定された近接度カーネルに代わるものである。
• エンティティレベルの関連性判断を直接学習対象とするペairワイズランキング損失関数を導入。学習プロセスにさまざまな集約関数を組み込む。
• 合計、平均、ソフトカットオフ、ソフトマックスなど、複数の集約関数を、学習フレームワーク内でのトレーニング可能なコンponentsとして採用。
• 生成的言語モデルに依存しない、判別的学習-ランク（L2R）を採用。マックスマージンまたは条件付き確率の定式化を用いる。
• コンテキストスコアに対して対称的集約（例：合計）を適用。非対称的またはランクベースのカットオフはノイズの多いデータで性能を低下させるため。
• オフラインでのエンティティアノテーションとコンテキストスコアリングを実施。これにより、大規模なWebデータ上でのクエリ時間の推論が効率的に行える。

実験結果

リサーチクエスチョン

• RQ1 perplexity と proximity を統合した統合的でトレーニング可能な特徴表現が、固定された近接度カーネルを上回る性能を発揮するか？
• RQ2 スニペットレベルの学習にハードウェアで固定された集約を用いるのではなく、エンティティレベルの関連性判断を直接エンドツーエンドで学習することで性能が向上するか？
• RQ3 合計、平均、ソフトカットオフなどの異なる集約関数が、多様なデータセットにおけるエンティティランク付け性能に与える影響は？
• RQ4 非対称的またはランクベースのカットオフと比較して、対称的集約（例：合計）は、ノイズが多く大規模なWeb環境でより頑健であるか？
• RQ5 コンテキスト数 |S_e| などの特徴が、さまざまなデータ分布においてどれほど性能向上に寄与するか？

主な発見

• 5億ページと200万のエンティティを含む大規模でノイズの多いWebデータセットにおいて、提案手法は最も近い競合他社比で8%のMAP向上を達成した。
• TRECデータセットにおいて、BalogらおよびMacDonaldらの最先端システムと同等の性能を示し、MRRやNDCGを含むすべての指標で競争力のある結果を達成した。
• 長方形ベースの特徴（複雑さと近接度を両方符号化）が、確率的言語モデルと組み合わせた近接度カーネルを上回った。
• 合計集約関数は、両方のデータセットで平均、ソフトカットオフ、SoftOr、SoftMaxを常に上回り、証拠は正規化するのではなく合計すべきであることを示した。
• ランクベースまたは非対称的カットオフはWebデータセットで性能を低下させた。これは、対称的集約がノイズの多い環境でより頑健であることを示唆している。
• |S_e|（支援コンテキスト数）はTRECでは価値があったが、Webデータセットでは役立たなかった。これは、特徴の有効性がデータセットに依存することを示している。