[論文レビュー] Overview of the Wikidata Vandalism Detection Task at WSDM Cup 2017

Stefan Heindorf, Martin Potthast+2 more|arXiv (Cornell University)|Dec 16, 2017

Wikis in Education and Collaboration参考文献 18被引用数 3

ひとこと要約

本論文は、WSDMカップ2017におけるWikidata改ざん検出タスクを提示し、Wikidataにおける悪意ある編集をリアルタイムでオンライン学習可能なフレームワークを導入した。最良のモデルは受容者操作特性曲線（ROC）でAUC 0.947、精密再現曲線（PR）でAUC 0.458を達成した。すべての提出物および評価コードはオープンソースとして公開され、再現性と今後の研究を促進した。

ABSTRACT

We report on the Wikidata vandalism detection task at the WSDM Cup 2017. The task received five submissions for which this paper describes their evaluation and a comparison to state of the art baselines. Unlike previous work, we recast Wikidata vandalism detection as an online learning problem, requiring participant software to predict vandalism in near real-time. The best-performing approach achieves a ROC-AUC of 0.947 at a PR-AUC of 0.458. In particular, this task was organized as a software submission task: to maximize reproducibility as well as to foster future research and development on this task, the participants were asked to submit their working software to the TIRA experimentation platform along with the source code for open source release.

研究の動機と目的

• 数百万件の月間編集が行われる急速に成長する知識ベースであるWikidataにおける改ざんをスケーラブルかつリアルタイムで検出するシステムの開発。
• 検索エンジンや質問応答ツールなどの下流システムの信頼性を損なう可能性がある悪意ある編集を検出する課題に対処すること。
• 標準化された評価とオープンソースコードの公開を通じて、共同研究を促進する共有タスクの開催。
• 半自動（レビュー用の順位付け）と完全自動（元に戻す意思決定）の両方の検出シナリオにおけるモデルの評価。
• 現在の特徴量セットの性能限界を分析し、特徴量工学分野における今後のイノベーションの機会を同定すること。

提案手法

• 本タスクはソフトウェア提出チャレンジとして構成され、参加者はTIRAプラットフォーム上でモデルをリモート実行可能にデプロイする必要があった。
• 訓練および評価用にラベルが付与された編集を含む、更新されたWikidata改ざんコーパス2016が、編集履歴から構築された。
• 参加者は、本番環境を模擬する近似リアルタイムでの編集処理を実現するクライアント・サーバー・アーキテクチャを実装する必要があった。
• 評価は受容者操作特性曲線（ROC）AUCおよび精密再現曲線（PR）AUCに基づき、多様な適合率再現率トレードオフにおいて改ざん検出能力の優劣を評価した。
• すべての提出モデルのアンサンブルを用いてメタ分類器を訓練し、モデルスタッキングの可能性と特徴量セットの限界を評価した。
• すべての評価フレームワークおよび大多数の参加者によるコードベースはオープンソースとして公開され、再現性とコミュニティによる再利用を確保した。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムかつオンライン学習制約下で、機械学習モデルがWikidataにおける改ざん検出にどの程度の性能を示すか。
• RQ2 異なる特徴量セットとモデルアーキテクチャは、多様な適合率再現率トレードオフにおいて、改ざん検出にどの程度差を示すか。
• RQ3 アンサンブル手法は個々のモデルを上回る検出性能を向上させることができるか。その制限要因は何か。
• RQ4 複雑なソフトウェアデプロイメントを伴う大規模かつリアルタイムの共有タスクにおいて、参加の主な障壁は何か。
• RQ5 現在の特徴量セットは、検出性能にどの程度制限を及えるか。今後のモデル向上に寄与する代替特徴量は何か。

主な発見

• 最良のモデルはROC AUC 0.947およびPR AUC 0.458を達成し、リアルタイム制約下でも強力な検出能力を示した。
• WDVDベースラインモデルは、完全自動検出シナリオですべての参加者提出モデルを上回り、優れたロバスト性を示した。
• すべての参加アプローチを組み合わせたアンサンブルモデリングでは僅かな性能向上に留まり、特徴量の多様性が限界に達している可能性を示唆した。
• 実際に動作するソフトウェアを提出できたチームはわずか5チームにとどまり、オープンソースのインcentiveにもかかわらず、デプロイメントおよびシステムの複雑さに起因する課題が顕在した。
• 参画の障壁は、大規模なデータセットのサイズ、リアルタイム処理要件、およびTIRA上のリモート仮想マシンデプロイメントに起因するとされた。
• 本研究は、今後の進展は、知識グラフ埋め込みや心理的ユーザーモデリングに基づく根本的に新しい特徴量セットの開発に依存すると結論づけた。