[論文レビュー] Temporal Opinion Spam Detection by Multivariate Indicative Signals

Junting Ye, Santhosh Kumar+1 more|arXiv (Cornell University)|Mar 7, 2016

Spam and Phishing Detection参考文献 12被引用数 15

ひとこと要約

本稿では、時系列的要因としての複数の兆候（レビュー数、評価の変化、レビュアー行動など）をモニタリングすることにより、リアルタイムで意見スパムを検出する時間的アプローチを提案する。これらの信号における異常な急増を検出し、スパムキャンペーンを特徴づけることで、一貫したキャンペーンや隠蔽されたレビューを含む多様なスパムパターンを高い効果で同定可能であり、静的でオフラインな手法を上回る性能を示す。

ABSTRACT

Online consumer reviews reflect the testimonials of real people, unlike advertisements. As such, they have critical impact on potential consumers, and indirectly on businesses. According to a Harvard study (Luca 2011), +1 rise in star-rating increases revenue by 5-9%. Problematically, such financial incentives have created a market for spammers to fabricate reviews, to unjustly promote or demote businesses, activities known as opinion spam (Jindal and Liu 2008). A vast majority of existing work on this problem have formulations based on static review data, with respective techniques operating in an offline fashion. Spam campaigns, however, are intended to make most impact during their course. Abnormal events triggered by spammers' activities could be masked in the load of future events, which static analysis would fail to identify. In this work, we approach the opinion spam problem with a temporal formulation. Specifically, we monitor a list of carefully selected indicative signals of opinion spam over time and design efficient techniques to both detect and characterize abnormal events in real-time. Experiments on datasets from two different review sites show that our approach is fast, effective, and practical to be deployed in real-world systems.

研究の動機と目的

• 時間的要因を捉えきれない静的でオフラインな意見スパム検出手法の限界を是正すること。
• 一貫したスパムキャンペーンによって引き起こされるレビュー行動のリアルタイムでの異常を検出および特徴づけること。
• 自動検出と人的な検査の両方を支援する、オンラインで効率的かつ汎用性のある手法を構築すること。
• 時間的信号の監視を通じて、隠蔽されたレビュー や複数製品を対象としたキャンペーンを含む多様なスパムパターンを特定・分析すること。
• 異常な時間点と関連信号をランク付け・強調表示することで、人的なレビュアーに記述的で実行可能なインサイトを提供すること。

提案手法

• 各製品に対してレビュー数、平均評価、シングルトンレビュアーの割合、若年スコア、評価分布など、合計9種類の兆候を定義し、それらを時間経過とともに追跡する。
• 例えばレビュー数の急増といったリード信号を用いて異常検出をトリガーとし、アラームが発動したポイントの周辺で補助信号の集中分析を行う。
• 各信号に対して時系列モデルを用いて、通常パターンからの統計的に有意な逸脱を同定することで、異常検出を実施する。
• 複数の信号にわたる異常を組み合わせるマルチシグナル相関戦略を採用し、スパム検出の信頼性を高めるとともに、スパムの特徴づけを可能にする。
• 信号間の異常数とその大きさに基づくランク付け関数を用いて、人的な検査の優先順位を決定する。
• 本手法はオンライン導入を想定しており、新しいレビューが到着する度に逐次処理することで、低遅延な検出を実現する。

実験結果

リサーチクエスチョン

• RQ1 複数の時間的信号をリアルタイムで監視することで、静的でオフラインな手法に比べて、意見スパムの検出をより効果的に行えるか？
• RQ2 複数の兆候信号を用いて、レビュー活動における異常な急増をどのように特定・特徴づけられるか？
• RQ3 本手法は、隠蔽されたレビュー や一貫した複数製品キャンペーンを含む多様なスパムパターンを検出できるか？
• RQ4 補助信号がリード信号の異常をどの程度裏付け、検出の信頼性を向上させるか？
• RQ5 本手法は、混合評価や非シングルトンレビュアーを含む、明白でないスパムキャンペーン（例：混合評価、非シングルトン）に対しても、どの程度効果的に検出できるか？

主な発見

• 本手法は、149週目にホイップサウンドアプリで深刻なスパムキャンペーンを検出。4,000件を超えるレビューの急増に加え、5つ星評価の急増が確認され、後続のワードクラウドおよび評価分布分析で裏付けられた。
• フィップカートの事例では、35週目に80件のレビューが含まれる一貫したスパムキャンペーンを同定。評価は3〜4つ星の混合であり、従来のフィルタが検出を避けられるように隠蔽されていた。
• ヘアストレートナーやドライヤー、シェーバーといった関連製品群が、同じ時期に同じ非シングルトンレビュアーによってスパムされたことが判明し、一貫したキャンペーンであることが確認された。
• 95週目に平均4.4の評価を記録していた書籍について、2日間で125件の5つ星レビューが同一の非シングルトンレビュアー集団から寄せられ、後に同じ著者の他の書籍と関連づけられた。
• 同じ製品について、レビュー数と評価分布の両方で異常を検出。若年スコアやレビュアー行動といった補助信号がスパムの疑いを強化した。
• 本手法は、テレビ広告による製品露出といった正当な出来事までも検出でき、本物の活動と悪意ある行動を区別する能力を示し、汎用性を実証した。