[論文レビュー] Wikipedia Vandal Early Detection: from User Behavior to User Embedding

Shuhan Yuan, Panpan Zheng+2 more|arXiv (Cornell University)|Jun 3, 2017

Wikis in Education and Collaboration参考文献 28被引用数 7

ひとこと要約

本稿では、Wikipediaの編集履歴からユーザー埋め込みを自動で学習するためのマルチソース長短期記憶ネットワーク（M-LSTM）を提案する。手動で設計された特徴量に依存せずに、悪意ある編集行動のパターンを捉え、早期に蛮暴者を検出することを目的としている。モデルは最先端の性能を達成しており、閾値τ=0.8でF1スコア92.44%、最大93.34%の早期検出率を達成し、動的でリアルタイムな蛮暴者予測および共同蛮暴グループの同定を可能にする。

ABSTRACT

Wikipedia is the largest online encyclopedia that allows anyone to edit articles. In this paper, we propose the use of deep learning to detect vandals based on their edit history. In particular, we develop a multi-source long-short term memory network (M-LSTM) to model user behaviors by using a variety of user edit aspects as inputs, including the history of edit reversion information, edit page titles and categories. With M-LSTM, we can encode each user into a low dimensional real vector, called user embedding. Meanwhile, as a sequential model, M-LSTM updates the user embedding each time after the user commits a new edit. Thus, we can predict whether a user is benign or vandal dynamically based on the up-to-date user embedding. Furthermore, those user embeddings are crucial to discover collaborative vandals.

研究の動機と目的

• Wikipediaの蛮暴者を、特に些細なまたは共同による蛮暴行為に特化して、早期かつ動的に検出する課題に対処すること。
• 手動で設計された特徴量に依存しないように、編集履歴からユーザー行動の表現を自動で学習すること。
• ページタイトル、カテゴリ、元に戻し履歴などの多様な編集属性を、統一された低次元のユーザー埋め込み空間に統合すること。
• 各編集後にユーザー埋め込みを更新することで、リアルタイムの検出を可能にし、ライブ監視システムへの導入を支援すること。
• ユーザー埋め込みの類似性分析を通じて、隠れた共同蛮暴パターンを特定すること。

提案手法

• M-LSTMモデルは、複数の編集属性（例：ページタイトル、カテゴリ、元に戻し状況）のシーケンスを並列に処理し、個別のLSTMを用いて属性固有の表現を学習する。
• 各LSTMは、ユーザーの編集履歴のシーケンスを固定長の隠れ状態に符号化し、特定の編集属性の時間的ダイナミクスを表現する。
• 複数の属性表現を統合するためにアテンション機構が適用され、包括的な1つのユーザー埋め込みが生成される。
• ユーザー埋め込みは、各新しい編集の後で動的に更新され、ユーザー行動が善いものか蛮暴者かをリアルタイムで分類可能になる。
• 閾値ベースの分類器が埋め込みスコアを用いて蛮暴行為を予測し、適合度と再現率のトレードオフを最適化するためのハイパーパrameterチューニングが行われる。
• モデルはWikipediaの編集ログ上でエンドツーエンドに学習され、特徴工学を経ずに、生の編集属性から表現を直接学習する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、手動で設計された特徴量に依存せずに、Wikipediaの編集履歴からユーザー行動の表現を自動で学習できるか？
• RQ2 部分的な編集履歴を用いた場合、提案されたM-LSTMモデルは従来の手法よりも蛮暴者を早期に検出できるか？
• RQ3 ユーザー埋め込みは、多様な編集パターンを持つ共同蛮暴グループを効果的に特定できるか？
• RQ4 動的ユーザー埋め込みを用いた早期蛮暴者検出において、適合度と再現率の最適なバランスは何か？
• RQ5 ページタイトルやカテゴリなどの異なる編集属性は、善いユーザーと蛮暴者を区別するためにどの程度寄与するか？

主な発見

• M-LSTMモデルは、手動で設計された特徴量に依存する既存手法よりも優れた性能を示し、閾値τ=0.8で92.44%のF1スコアを達成した。
• モデルは、τ=0.8で再現率98.76%、適合率86.88%を達成し、管理者によるブロック前に93.34%の蛮暴者を検出できる早期検出を可能にした。
• 検出までの平均編集数は、閾値に関係なく約3.6で安定しており、一貫した早期検出能力を示している。
• ユーザー埋め込みは、協調的かつ非ランダムな編集パターンを示すユーザー間で高い類似性を示し、共同蛮暴グループを効果的に特定できた。
• ページカテゴリ情報を組み込むことでモデルの性能が顕著に向上し、関連性のないが意味的に関連するページを編集する蛮暴者の例から明らかになった。
• τ=0.9でF1スコアは93.93%に上昇したが、早期検出率は72.32%に急激に低下し、信頼性とカバー範囲のトレードオフが示された。