[論文レビュー] Wikidata Vandalism Detection - The Loganberry Vandalism Detector at WSDM Cup 2017

Qi Zhu, Hongwei Ng+5 more|arXiv (Cornell University)|Dec 19, 2017

Natural Language Processing Techniques参考文献 4被引用数 4

ひとこと要約

この論文では、編集長さ、編集タイプ（例：追加、削除）、および旧コンテンツと新コンテンツ間の語彙的類似性といった言語的特徴、ステートメント数、修飾子、参照の数といった構造的特徴、編集頻度、直前の編集からの経過時間、および時刻といった時間的特徴を活用して、改ざんの可能性を予測する、Wikidata向けの改ざん検出システム「Loganberry」を提示する。本研究はWSDMカップ2017チャレンジで0.91976のROC-AUCスコアを達成し、知識ベースへの悪意ある編集を特定する上で優れた性能を示した。

ABSTRACT

Wikidata is the new, large-scale knowledge base of the Wikimedia Foundation. As it can be edited by anyone, entries frequently get vandalized, leading to the possibility that it might spread of falsified information if such posts are not detected. The WSDM 2017 Wiki Vandalism Detection Challenge requires us to solve this problem by computing a vandalism score denoting the likelihood that a revision corresponds to an act of vandalism and performance is measured using the ROC-AUC obtained on a held-out test set. This paper provides the details of our submission that obtained an ROC-AUC score of 0.91976 in the final evaluation.

研究の動機と目的

• 公開された貢献が可能なWikidataにおける悪意ある編集の検出という課題に対処すること。
• 高い正確性で改ざんの可能性をスコアリングできる、堅牢で自動化されたシステムの開発。
• ROC-AUCスコアを用いてホールドアウトされたテストセット上で評価される、WSDMカップ2017 Wiki改ざん検出チャレンジへの参加。
• 大規模な共同知識ベースにおける改ざん検出に対して、スケーラブルで解釈可能なアプローチを貢献すること。

提案手法

• システムは、編集長さ、編集タイプ（例：追加、削除）、および旧コンテンツと新コンテンツ間の語彙的類似性といった言語的特徴を抽出する。
• ステートメント数、修飾子、参照の数、エンティティタイプやプロパティ使用の変更といった構造的特徴を組み込む。
• 編集頻度、直前の編集からの経過時間、および時刻といった時間的特徴を用いて、不審な編集パターンを検出する。
• 各編集の改ざんスコアを予測するために、特徴量をエンジニアリングした上で勾配ブースティング付き決定木モデルを訓練する。
• 交差検証とハイパーパramータチューニングを用いて、検証セットでのAUCスコアを最大化するようにモデルを最適化する。
• 最終的なシステムは、主にROC-AUCを指標として用いたホールドアウトされたテストセット上で評価される。

実験結果

リサーチクエスチョン

• RQ1 言語的、構造的、時間的特徴は、Wikidataにおける正当な編集と悪意ある編集を区別するのにどの程度有効であるか？
• RQ2 これらの特徴に基づいて訓練された機械学習モデルは、現実世界の改ざん検出シナリオで高いAUC性能を達成できるか？
• RQ3 どのような特徴の組み合わせが、多様なWikidataの編集にわたって、最も堅牢で汎用性の高い検出性能をもたらすか？
• RQ4 テストセットにおける異なる閾値やデータ分布の下で、モデルの性能はどのように変化するか？

主な発見

• Loganberryシステムは、WSDMカップ2017のテストセットで0.91976のROC-AUCスコアを達成し、上位の提出物の一つにランクされた。
• 編集長さや語彙的類似性といった言語的特徴は、特に短く意味のない編集に対して改ざんの予測に非常に有効であった。
• 偽のステートメントや参照の追加といった構造的変更は、改ざんとしてフラグが上がる可能性を顕著に高めた。
• 短時間にわたる連続編集や、ピーク時以外の時間帯の編集といった時間的パターンは、悪意ある行動の強い兆候であった。
• 勾配ブースティング付き決定木モデルは、多様な編集タイプやエンティティカテゴリにわたって優れた汎化性能と頑健性を示した。
• 複数の特徴タイプの統合は、単一のモダリティのみを用いたモデルよりも顕著に優れた性能を発揮した。