[論文レビュー] FairJudge: Trustworthy User Prediction in Rating Platforms

Srijan Kumar, Bryan Hooi+4 more|arXiv (Cornell University)|Mar 30, 2017

Spam and Phishing Detection参考文献 30被引用数 16

ひとこと要約

FairJudgeは、ユーザーの公平性、製品の優良性、レーティングの信頼性を相互に再帰的なベイズ方程式で同時にモデル化することで、レーティングプラットフォームにおける不正ユーザーを検出する新しい反復的アルゴリズムを提案する。線形時間計算量を達成し、収束が保証され、9つの既存手法を上回る性能を示し、Flipkartでは実世界の不正検出で80％の正確性を達成するとともに、ビットコインネットワークで40人のユーザーからなるボットネットの検出に成功した。

ABSTRACT

Rating platforms enable large-scale collection of user opinion about items (products, other users, etc.). However, many untrustworthy users give fraudulent ratings for excessive monetary gains. In the paper, we present FairJudge, a system to identify such fraudulent users. We propose three metrics: (i) the fairness of a user that quantifies how trustworthy the user is in rating the products, (ii) the reliability of a rating that measures how reliable the rating is, and (iii) the goodness of a product that measures the quality of the product. Intuitively, a user is fair if it provides reliable ratings that are close to the goodness of the product. We formulate a mutually recursive definition of these metrics, and further address cold start problems and incorporate behavioral properties of users and products in the formulation. We propose an iterative algorithm, FairJudge, to predict the values of the three metrics. We prove that FairJudge is guaranteed to converge in a bounded number of iterations, with linear time complexity. By conducting five different experiments on five rating platforms, we show that FairJudge significantly outperforms nine existing algorithms in predicting fair and unfair users. We reported the 100 most unfair users in the Flipkart network to their review fraud investigators, and 80 users were correctly identified (80% accuracy). The FairJudge algorithm is already being deployed at Flipkart.

研究の動機と目的

• アマゾン、エイプル、フィップカートなどのオンラインレーティングプラットフォームにおける、不正ユーザーによるレーティング操作による評判の乱高下という深刻な問題に対処すること。
• 初期データが限られる状況（コールドスタート問題）でも信頼できるユーザー予測システムを構築すること。
• ユーザーの公平性、製品の質、レーティングの信頼性の相互依存関係を、不正を示す行動的兆候を捉える形でモデル化すること。
• 実世界のシステム（例：フィップカートのマーケットプレイス）に導入可能な、スケーラブルで理論的に保証されたアルゴリズムを設計すること。

提案手法

• ユーザーの公平性 F(u)、製品の優良性 G(p)、レーティングの信頼性 R(u,p) の3つの核心的指標を定義し、互いに再帰的な定式化を採用する。
• 公平性と優良性スコアの事前分布を組み込むことで、コールドスタート問題に対処するベイズフレームワークを導入する。
• レーティング速度、バースト性、レーティングパターンといった行動的特性をペナルティ項としてモデルに組み込み、異常行動を検出する。
• タイムスタンプ付きのユーザー・アイテムレーティングの二部グラフを用いて、全レーティングネットワーク上で F(u)、G(p)、R(u,p) を同時に計算する反復的アルゴリズム FairJudge を開発する。
• ネットワーク構造、行動信号、事前信念を組み合わせた重み付き更新ルールを用い、各反復で公平性と信頼性の推定値を改善する。
• 有界な反復回数内で理論的に収束することを証明し、時間計算量が O(E)（E はエッジ数＝レーティング数）の線形時間計算量を達成する。

実験結果

リサーチクエスチョン

• RQ1 公平性、優良性、信頼性の共同再帰的モデルは、既存手法に比べて、レーティングプラットフォームにおける不正ユーザーの検出性能を上回るか？
• RQ2 行動的特性とベイズ的事前分布の統合は、特にコールドスタート時において、検出精度の向上にどの程度効果をもたらすか？
• RQ3 ラベル付き学習データの量が変化しても、FairJudgeアルゴリズムは高い性能を維持できるか、特に教師なし設定下でも同様か？
• RQ4 実世界のネットワークにおいて、ボットネットや共謀するスヒル（不正レーティング業者）のような一括不正行動を検出できるか？
• RQ5 アルゴリズムは大規模な実世界のレーティングネットワークへどの程度スケーラブルに拡張できるか？

主な発見

• FairJudgeは、5つの実世界データセットを用いた10の教師なしケースのうち9つで最高または2番目に高い平均適合率を達成し、優れた一般化性能を示した。
• 教師あり設定では、5つのデータセットすべてでAUC ≥ 0.85を達成し、9つの既存アルゴリズムを一貫して上回った。
• フィップカートの不正捜査担当者に報告された100人の最も不公正なユーザーのうち80人を正しく同定し、実世界での検証で80％の正確性を達成した。
• ビットコイン・アルファネットワーク上、1つのアカウントのスヒルであると確認された40人の共謀ユーザーのクラスタが、FairJudgeによって正常に検出された。これらのユーザーは互いに密接に相互にレーティングし合うグループを形成していた。
• 不公正なユーザーは、平均して非常に否定的レーティング（アマゾンでは平均 -0.88）を付与し、短時間で連続してレーティングを投稿（しばしば15秒未塔）し、二峰性のレーティングパターン（全員-1.0または全員+1.0）を示した。
• アルゴリズムは線形スケーラビリティを示し、実行時間がエッジ数に比例して増加した。これにより、大規模な実装への実用性が裏付けられた。