[論文レビュー] Detecting Sockpuppets in Deceptive Opinion Spam

Marjan Hosseinia, Arjun Mukherjee|arXiv (Cornell University)|Mar 9, 2017

Spam and Phishing Detection参考文献 27被引用数 6

ひとこと要約

本論文は、ラベルなしテストデータを活用して著者検証を向上させる、新たなトランスダクションベースの手法であるスパイインダクションを提案する。この手法では、既知の陽性サンプル（スパイ）をラベルなしテストセットに挿入し、それらの最近傍および最も遠い近傍を特定することで、負例の訓練セットを有効に拡張する。このアプローチにより、ドメインや分類器を問わずF1スコアが著しく向上し、ベースライン比で最大19.9%の向上が達成された。

ABSTRACT

This paper explores the problem of sockpuppet detection in deceptive opinion spam using authorship attribution and verification approaches. Two methods are explored. The first is a feature subsampling scheme that uses the KL-Divergence on stylistic language models of an author to find discriminative features. The second is a transduction scheme, spy induction that leverages the diversity of authors in the unlabeled test set by sending a set of spies (positive samples) from the training set to retrieve hidden samples in the unlabeled test set using nearest and farthest neighbors. Experiments using ground truth sockpuppet data show the effectiveness of the proposed schemes.

研究の動機と目的

• 従来の著者識別手法が、限られたかつ多様な訓練データのため失敗する、複数の別名を用いて偽のレビューを投稿する悪意あるスォックパペット（sockpuppets）の検出という課題に対処すること。
• 広域設定（open-set）において、極めて広範かつ不十分に表現された負例クラスを扱う著者検証を改善すること。
• ラベルなしテストデータを活用して、より強固な検証モデルを構築するための訓練セットを動的に拡大する手法を開発すること。
• SVM、LR、kNNを含む複数の分類器および複数のドメイン（ホテル、製品、レストラン）において、提案手法の有効性を評価すること。

提案手法

• 既知の著者と負例との間のスタイル的言語モデル（構文木特徴を用いて計算）のKLダイバージェンスを用いて、識別的特徴を同定する特徴選択スキームΔKL-PTFsを提案する。
• スパイ（既知の陽性サンプル）をラベルなしテストセットに挿入し、その最近傍および最も遠い近傍を探索することで、潜在的な陽性および陰性訓練サンプルを抽出するトランスダクション手法「スパイインダクション」を導入する。
• ユークリッド距離またはコサイン類似度を距離尺度として用い、スパイセットのラベルなしテストセット内での近傍を特定する。ここでは、類似する文書は同著者による可能性が高いという仮定を採用する。
• 二段階の訓練プロセスを採用する：まず、基本特徴で検証器を訓練し、次にスパイインダクションにより得られた拡張訓練セットを用いて再訓練することで汎化性能を向上させる。
• SVM、ロジスティック回帰、kNNを含む複数の分類器に本手法を適用し、実世界のスォックパペットデータセットにおいてF1、精度、再現率を用いて性能を評価する。
• t検定を用いて、得られた性能向上が統計的に有意であることを検証する。

実験結果

リサーチクエスチョン

• RQ1 負例セットの多様性とサイズを増加させることで、スォックパペット検出の著者検証モデルの性能はどのように変化するか？
• RQ2 ラベルなしテストデータは、広域設定の著者検証タスクにおいて、負例訓練セットの改善に効果的に活用できるか？
• RQ3 トランスダクションベースの手法としてのスパイインダクションは、従来のトランスダクションおよびベースライン手法を上回り、複数ドメインにまたがって悪意あるスォックパペットを検出できるか？
• RQ4 知識のドメイン間転移（例：ホテルで学習し、製品でテスト）において、スパイインダクションは検証性能をどの程度向上させるか？
• RQ5 負例セットにおける著者多様性（δ = 25%, 50%, 75%）の変動に対して、本手法はどの程度頑健か？

主な発見

• スパイインダクションは、すべてのドメインおよび分類器においてF1スコアを著しく向上させ、ベースモデル比で最大19.9%の向上を達成した（例：δ=75%におけるレストランドメインでは、59.3% vs. 55.2%）。
• クロスドメイン検証において、スパイインダクションはベースモデル比で7.6%のF1スコア向上を達成した（2ドメインで学習し、残りの1ドメインでテストした場合、ロジスティック回帰を用いて61.5% vs. 40.4%）。
• わずか5〜7個のスパイサンプルで迅速に安定化し、注入された陽性データが極めて少ない状況でも頑健であることが示された。
• δ=75%では再現率の低下が小さく、δ=25%よりも速やかに安定化する傾向を示し、負例セットの多様性が高い状況での性能向上が顕著であった。
• ウィキペディアのスォックパペットコーパスにおいても、スパイインダクションはベースモデルを常に上回り、SVMでは7.6%のF1スコア向上（70.3% vs. 68.0%）、ロジスティック回帰では2.0%の向上（61.5% vs. 49.8%）を達成した（δ=75%）。
• p < 0.01の有意水準での統計的有意性検定により、スパイインダクションによる性能向上は、すべてのドメインおよび設定において顕著であることが確認された。