[論文レビュー] Fake Review Detection Using Behavioral and Contextual Features

Jay Kumar|arXiv (Cornell University)|Feb 26, 2020

Spam and Phishing Detection参考文献 53被引用数 6

ひとこと要約

本稿では、行動的および文脈的特徴を用いた偽レビュー検出モデルを提案し、新たな行動的特徴として「レビュアーの乖離度」を導入し、BM25重み付けを用いてテキスト類似度を評価する。実際のYelpデータセットにおいて、レビュアーの乖離度と文脈的特徴を組み合わせることで分類精度と再現率が向上することを示しており、Random ForestはSVMを上回り、BM25はNNCおよびTF-IDFよりも優れたテキスト類似度評価を達成している。

ABSTRACT

User reviews reflect significant value of product in the world of e-market. Many firms or product providers hire spammers for misleading new customers by posting spam reviews. There are three types of fake reviews, untruthful reviews, brand reviews and non-reviews. All three types mislead the new customers. A multinomial organization "Yelp" is separating fake reviews from non-fake reviews since last decade. However, there are many e-commerce sites which do not filter fake and non-fake reviews separately. Automatic fake review detection is focused by researcher for last ten years. Many approaches and feature set are proposed for improving classification model of fake review detection. There are two types of dataset commonly used in this research area: psuedo fake and real life reviews. Literature reports low performance of classification model real life dataset if compared with pseudo fake reviews. After investigation behavioral and contextual features are proved important for fake review detection Our research has exploited important behavioral feature of reviewer named as "reviewer deviation". Our study comprises of investigating reviewer deviation with other contextual and behavioral features. We empirically proved importance of selected feature set for classification model to identify fake reviews. We ranked features in selected feature set where reviewer deviation achieved ninth rank. To assess the viability of selected feature set we scaled dataset and concluded that scaling dataset can improve recall as well as accuracy. Our selected feature set contains a contextual feature which capture text similarity between reviews of a reviewer. We experimented on NNC, LTC and BM25 term weighting schemes for calculating text similarity of reviews. We report that BM25 outperformed other term weighting scheme.

研究の動機と目的

• 合成データや擬似偽データセットと比較して、しばしば性能を発揮しない実際のeコマースデータセットにおける偽レビュー検出の改善を目的とする。
• 特に「レビュアーの乖離度」として新たに提案された行動的特徴が、偽レビュー分類に与える影響を調査すること。
• 偽レビュー検出におけるレビュアーのコンテンツ類似度（RCS）を測定するための、異なる語句重み付け方式（NNC、LTC、BM25）の性能を評価すること。
• 提案された特徴セットを用いて、実世界のデータセットにおける分類器の性能（SVM、RFなど）を比較すること。
• データセットスケーリングと特徴の重要度分析を用いて、偽レビュー検出におけるクラス不均衡問題に対処すること。

提案手法

• 同一のビジネスに対して複数回の投稿を行うレビュアーの不一致した評価パターンを捉えるために、新たな行動的特徴「レビュアーの乖離度」を提案した。
• レビュアーの自身のレビュー間のテキスト類似度を測定するため、3つの語句重み付け方式（TF-IDF（ベースライン）、NNC、BM25）を用いてレビュアーのコンテンツ類似度（RCS）を計算した。
• レビュアーの乖離度とRCSを、他の文脈的および行動的特徴と統合し、分類に用いる統一された特徴セットを構築した。
• 実際のYelpデータセットを用いて、SVM、決定木、Random Forestなどの複数の分類器を訓練および評価した。
• 各特徴の寄与度を評価するため、特徴の重要度順位付けを実施し、レビュアーの乖離度は重要度順位で9番目であった。
• データサイズの影響を評価するため、データセットをスケーリングした。スケーリングにより、再現率と精度が向上した。

実験結果

リサーチクエスチョン

• RQ1 実際のデータセットにおいて、行動的特徴としての「レビュアーの乖離度」を含めることで、偽レビュー検出の性能にどのような影響を与えるか？
• RQ2 偽レビュー検出におけるレビュアーのコンテンツ類似度（RCS）を測定する際、NNC、LTC、BM25のうち、どの語句重み付け方式が最も優れた性能を示すか？
• RQ3 提案された特徴セットを用いた場合、実際のYelpデータにおいて、SVM、Random Forestなどの異なる分類器の性能はどのようになるか？
• RQ4 データセットのスケーリングは、偽レビュー検出モデルの再現率と精度にどの程度向上効果をもたらすか？
• RQ5 文脈的および行動的特徴の重要度スコアは、特に提案された「レビュアーの乖離度」特徴に関して、どのように比較されるか？

主な発見

• MukherjeeらおよびZhangらが使用した先行特徴セットと比較して、本稿で提案された特徴セット（「レビュアーの乖離度」を含む）は、実際のYelpデータセットにおける偽レビュー検出性能を向上させた。
• レビュアーの乖離度は、選定された特徴の中で重要度順位9位にランク付けされ、分類モデルへの有意義な貢献が確認された。
• RCSの測定において、BM25はNNCおよびTF-IDFを上回り、より高い評価スコアを達成した。
• 実際のデータセットにおいて、Random ForestはSVMを上回り、先行研究の結果とも一致した。
• データセットのスケーリングにより、再現率と精度の両方が向上した。これは、不均衡な偽レビュー検出タスクにおいて、データサイズがモデル性能に顕著な影響を与えることを示している。