[論文レビュー] Exploring Linkablility of Community Reviewing

Mishari Al Mishari, Gene Tsudik|arXiv (Cornell University)|Nov 1, 2011

Spam and Phishing Detection参考文献 20被引用数 3

ひとこと要約

この論文は、大規模なYelpデータセットを用いた単純な統計モデルを用いて、コミュニティレビュー・プラットフォーム上の匿名レビューのリンク可能性を調査している。著者固有の特徴がレビューに一貫して現れるため、活発な寄稿者からのレビューのうち最大99％が、文語的スタイルのみを根拠に高い信頼性でリンク可能であることが判明し、著者固有の特徴に起因する顕著なプライバシー上のリスクを明らかにしている。

ABSTRACT

Large numbers of people all over the world read and contribute to various review sites. Many contributors are understandably concerned about privacy; specifically, about linkability of reviews (and accounts) across review sites. In this paper, we study linkability of community reviewing and try to answer the question: to what extent are "anonymous" reviews linkable, i.e., likely authored by the same contributor? Based on a very large set of reviews from a popular site (Yelp), we show that a high percentage of ostensibly anonymous reviews can be linked with very high confidence. This is despite the fact that we use very simple models and equally simple features set. Our study suggests that contributors reliably expose their identities in reviews. This has important implications for cross-referencing accounts between different review sites. Also, techniques used in our study could be adopted by review sites to give contributors feedback about privacy of their reviews.

研究の動機と目的

• コミュニティレビュー・サイトにおける見かけ上匿名のレビューが、同一の著者にリンク可能である程度を評価すること。
• レビュー間で一貫した文章スタイルが見られるかどうかを調査し、著者を高信頼度で再特定可能かどうかを検討すること。
• レビューのリンク可能性を活用してスパムや自己レビュー行動を検出する可能性を検討すること。
• レビュー・サイトがユーザーに自身のレビューのリンク可能性に関するプライバシー意識を高めるフィードバックを提供する仕組みを提供すること。

提案手法

• アルファベットの文字出現頻度分布のみを特徴量として用い、ナイーブベイズ分類器を適用して匿名レビューを著者グループに分類した。
• リンク可能性の評価のために、レビューの特徴分布間の類似度をカルバック・ライブラー発散（Kullback-Leibler divergence）で測定した。
• 確率推定におけるゼロ頻度特徴の処理のため、ラプラススムージングを採用した。
• 約2,000人の活発なYelp寄稿者から得た100万件を超えるレビューの大きなデータセットを用いてリンク可能性を評価した。
• 各寄稿者のレビュー群を1つの著者プロファイルとして扱い、匿名レビューが正しいプロファイルにグループ化できるかをテストした。
• 精度、再現率、F1スコアを用いて性能を評価し、著者1人あたりの匿名レビュー数の変動に応じた結果を報告した。

実験結果

リサーチクエスチョン

• RQ1 基本的なテキスト特徴量のみを用いて、匿名レビューが同一著者にどの程度リンク可能か？
• RQ2 寄稿者1人あたりのレビュー数が増えるにつれて、レビューのリンク可能性はどのように変化するか？
• RQ3 ナイーブベイズやKL発散といった単純なモデルが、テキストのみから著者特定を高精度で行えるか？
• RQ4 高いリンク可能性は、複数のレビュー・プラットフォームにおけるユーザーのプライバシーにどのような影響を及えるか？
• RQ5 このアプローチを用いて、レビュー・エコシステム内での自己レビューまたはスパム行動を検出できるか？

主な発見

• 匿名レビューの最大83％が、アルファベットの文字出現頻度分布のみを用いて、元の著者にリンク可能である。
• 60件以上のレビューを投稿した寄稿者については、リンク可能性が最大99％に達する。
• 単純な特徴量を用いたナイーブベイズモデルは、高精度かつ高再現率を達成しており、複雑な言語的特徴を用いなくても強力な性能を示している。
• 本研究では、ユーザーが一貫して識別可能な特徴を文章に露呈しており、これがレビュー間で著者を極めて容易にリンク可能にしていることが確認された。
• 安定した文章パターンのため、異なるレビュー・サイト間でのアカウントの照合が極めて容易であることが示唆された。
• 本手法は、レビュー・プラットフォームがユーザーに自身のレビューのプライバシー的リスクについてフィードバックを提供するのにも利用可能である。