[論文レビュー] Efficient and Effective Spam Filtering and Re-ranking for Large Web Datasets

Gordon V. Cormack, Mark D. Smucker+1 more|arXiv (Cornell University)|Apr 29, 2010

Spam and Phishing Detection参考文献 21被引用数 14

ひとこと要約

本稿では、最小限のトレーニングと自動ラベリングを用いて、大規模なウェブデータセットに対して効率的でコンテンツベースのスパムフィルタリングおよびリランク手法を提案する。2.5時間の人的ラベル付き例の学習にのみ依存する単純なロジスティック回帰分類器を用いてClueWeb09データセット内のスパムページをフィルタリングまたは再順序付けすることで、TREC 2009の全実行において固定カットオフ精度（estP10）およびランクベースの指標（MAP、StatMAP）が顕著に向上し、情報検索効果性が向上した。

ABSTRACT

The TREC 2009 web ad hoc and relevance feedback tasks used a new document collection, the ClueWeb09 dataset, which was crawled from the general Web in early 2009. This dataset contains 1 billion web pages, a substantial fraction of which are spam --- pages designed to deceive search engines so as to deliver an unwanted payload. We examine the effect of spam on the results of the TREC 2009 web ad hoc and relevance feedback tasks, which used the ClueWeb09 dataset. We show that a simple content-based classifier with minimal training is efficient enough to rank the "spamminess" of every page in the dataset using a standard personal computer in 48 hours, and effective enough to yield significant and substantive improvements in the fixed-cutoff precision (estP10) as well as rank measures (estR-Precision, StatMAP, MAP) of nearly all submitted runs. Moreover, using a set of "honeypot" queries the labeling of training data may be reduced to an entirely automatic process. The results of classical information retrieval methods are particularly enhanced by filtering --- from among the worst to among the best.

研究の動機と目的

• 10億ページにのぼるClueWeb09データセットの全ページを、最小限の計算とトレーニングでスパムまたは非スパムにラベル付ける実用的手法の開発。
• 大規模ウェブIRタスクにおけるスパムフィルタリングの検索効果性への影響の定量化。
• 人為的判断を排除するため、「ハニーポット」クエリを用いた自動的・非監視的トレーニングデータラベリングの実現。
• スパムフィルタリングおよびリランクが、主要な検索プロバイダーのシステムを含む多様な検索システムにおいて、標準的なIR指標を顕著に向上させることの実証。

提案手法

• 最小限の人的ラベル付き例（2.5時間分のラベリングにまで限定）で学習された、コンテンツベースのスパム分類器としてのロジスティック回帰。
• スパムページのみを取得することを目的とした「ハニーポット」クエリ（合成クエリ）を用いて、人的介入なしにトレーニングデータを自動生成。
• パーセンタイルベースのスパムスコアを用いて、すべてのページをスパム度の高い順にランク付けし、柔軟なフィルタリングまたはリランクの閾値を設定可能にする。
• 単なるフィルタリングではなく、既存の検索結果にスパムスコアを統合してリランクすることで、関連コンテンツを保持しつつスパムを低順位に押しやる。
• 50分割交差検証を用いて、全カットオフレベルおよびランクベース指標におけるスパムフィルタリングおよびリランクの影響を評価。
• 本手法の汎用性と頑健性を示すために、4年前の異なる性質で小さいデータセットをトレーニングに用いることで、移行可能性を実証。

実験結果

リサーチクエスチョン

• RQ1 最小限の人的ラベル付きデータで、大規模ウェブデータセットに効率的に学習可能な単純なコンテンツベースのスパム分類器を構築できるか？
• RQ2 スパムフィルタリングは、大規模ウェブコレクションにおけるアドホックおよび関連性フィードバックタスクの検索効果性をどの程度向上させるか？
• RQ3 ハニーポットクエリを用いた自動的・非監視的トレーニングデータラベリングは、人的判断なしに効果的なスパム検出を達成できるか？
• RQ4 スパム度スコアに基づくリランクは、単なるフィルタリングに比べて、MAP や P@10 といった標準IR指標の向上にどの程度優れているか？
• RQ5 提案手法は、商業検索プロバイダーのシステムを含む多様な検索システムにおいて、検索パフォーマンスを向上させるか？

主な発見

• 本スパムフィルタは、TREC 2009の全アドホック提出分野において、平均して estP10（固定カットオフ精度）を32%向上させ、p値 < 0.0001であった。
• 本手法はランクベース指標を顕著に向上させた：MAPは0.1195から0.1510に上昇（相対改善26.4%）、StatMAPは0.0400から0.0528に上昇（相対改善32%）。
• スパム度スコアを用いたリランクにより、最高性能を示したシステム（uvamrftop）のP@10は0.4100から0.4855に向上し、既にスパムフィルタを導入しているシステムに対しても顕著な向上が得られた。
• わずか2.5時間の人的ラベリングで効果的なスパム検出が達成され、さらに4年前の性質が異なる小さなデータセットで学習させた場合でも、そのスパムスコアは有効であった。
• 検索効果性の向上は全カットオフレベルで一貫しており、50分割交差検証により統計的に有意であることが確認された。
• 研究者らは、4つのスパム度パーセンタイルスコアセット（それぞれ約350MB圧縮）を公開し、再現可能性および今後のIRシステムへの統合を可能にした。