[論文レビュー] Wikipedia Vandalism Detection Through Machine Learning: Feature Review and New Proposals: Lab Report for PAN at CLEF 2010

Santiago M. Mola-Velasco|arXiv (Cornell University)|Oct 19, 2012

Wikis in Education and Collaboration参考文献 8被引用数 24

ひとこと要約

本論文は、包括的な言語的および構造的特徴を用いた機械学習的手法を提案し、Wikipediaの改ざん検出を実施する。先行研究を拡張する形で、文字の多様性や強化された語彙リストベースの指標といった新規特徴を導入し、ランダムフォレスト分類器を用いて、PAN 2010コンペティションでAUC 0.92236を達成し、タスクで1位を獲得する、最先端の性能を達成した。

ABSTRACT

Wikipedia is an online encyclopedia that anyone can edit. In this open model, some people edits with the intent of harming the integrity of Wikipedia. This is known as vandalism. We extend the framework presented in (Potthast, Stein, and Gerling, 2008) for Wikipedia vandalism detection. In this approach, several vandalism indicating features are extracted from edits in a vandalism corpus and are fed to a supervised learning algorithm. The best performing classifiers were LogitBoost and Random Forest. Our classifier, a Random Forest, obtained an AUC of 0.92236, ranking in the first place of the PAN'10 Wikipedia vandalism detection task.

研究の動機と目的

• 監視付き機械学習を用いて、Wikipediaの改ざんの自動検出を改善すること。
• 先行研究（Potthast et al., 2008）で提案された特徴セットを、新たな特徴および洗練された特徴で拡張すること。
• 改ざん検出のための複数の監視付き学習分類器を評価・比較すること。
• PAN 2010 Wikipedia 改ざん分類タスクで高い性能を達成すること。
• 現在のルールベースシステムよりも高いF-measureおよびAUCを達成する次世代の改ざん防止ボットの基盤を提供すること。

提案手法

• システムは、大文字と小文字の比率、数字の比率、文字の多様性といった、語彙的・構文的・統計的性質を含む、広範な編集レベルの特徴を抽出する。
• 旧本文と新本文、挿入された単語、挿入された行の表現を生成するために、google-diff-match-patchを用いた前処理パイプラインと差分計算を実施する。
• 語彙リスト（例：不適切な語彙、偏見を含む語彙、性的関連語彙）からの特徴を抽出し、その出現に基づいて頻度スコアと影響スコアを算出する。
• 最終的な分類器は、1000本の木と5つのランダムに選択された特徴を考慮するランダムフォレストであり、各分割における特徴数は log2(M)+1 として定義される。
• PAN-WVC-10コーパスを用いた10-fold交差検証を実施し、AUC、F-Measure、精度、再現率といった指標を用いて評価する。
• クラス不均衡に対処するため、改ざん編集の誤分類を通常の編集の誤分類よりも10倍重視するように、クラスウェイトを調整することでモデルチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 多様な言語的および構造的特徴を用いてトレーニングされた機械学習分類器は、既存のルールベースの改ざん検出システムを上回ることができるか？
• RQ2 語彙リストに基づく特徴のうち、特にどの特徴が改ざん編集と正当な編集を効果的に区別できるか？
• RQ3 ランダムフォレストやロジットブーストといった異なるアンサンブル分類器は、安定性、精度、再現率、AUCの観点で、改ざん検出タスクにおいてどのように比較されるか？
• RQ4 可逆性や文字分布の指標を含む特徴工学が、検出性能をどの程度向上させられるか？
• RQ5 学習ベースのアプローチは、現在のボットがしばしば高い精度だが低い再現率を示すのと比べて、精度と再現率のバランスをより良く達成できるか？

主な発見

• 最終的なランダムフォレスト分類器（1000本の木、1回の分割で5つの特徴）は、PAN-WVC-10テストセットでAUC 0.92236を達成し、コンペティションで1位を獲得した。
• ランダムフォレストは、安定性とAUCの観点でロジットブーストを上回り、1000イテレーションでAUCが0.963に上昇した一方、ロジットブーストは高イテレーションで過学習の兆候を示した。
• 「すべての頻度」（事前に定義されたリスト内の語の頻度）という特徴が、個々の特徴の中で最高の精度（0.762）を示したが、再現率は低かった（0.353）。
• 「匿名」特徴は、単一特徴の中で最高のAUC（0.78）を示し、改ざんの特定に強い識別力を持つことが示された。
• 「良い語彙頻度」特徴は、精度と再現率が両方0であったため、改ざんの区別に効果がなかった。
• トレーニングセットでは、精度が0.861、再現率が0.568で、F-Measureが0.684を記録し、現在のルールベースボットのF-Measureを著しく上回った。