[論文レビュー] Fake Reviews Detection through Analysis of Linguistic Features

Faranak Abri, Luis Felipe González Gutiérrez+3 more|arXiv (Cornell University)|Oct 8, 2020

Spam and Phishing Detection参考文献 25被引用数 11

ひとこと要約

本稿では、自然言語処理および機械学習を用いて、言語的特徴に基づく手法により偽のオンラインレビューを検出することを提案する。15の言語的特徴（冗長性、因果関係、文の長さなど）を分析することで、偽のレビューは一般的に長く、冗長性が高く、より多くの一時停止を含む傾向があることが特定された。本研究では、4つの主要な特徴（形容詞の数、冗長性、因果関係、語彙多様性）のみを用いて79.09%の精度を達成し、これらの言語的特徴が強力な識別能力を持つことが示された。

ABSTRACT

Online reviews play an integral part for success or failure of businesses. Prior to purchasing services or goods, customers first review the online comments submitted by previous customers. However, it is possible to superficially boost or hinder some businesses through posting counterfeit and fake reviews. This paper explores a natural language processing approach to identify fake reviews. We present a detailed analysis of linguistic features for distinguishing fake and trustworthy online reviews. We study 15 linguistic features and measure their significance and importance towards the classification schemes employed in this study. Our results indicate that fake reviews tend to include more redundant terms and pauses, and generally contain longer sentences. The application of several machine learning classification algorithms revealed that we were able to discriminate fake from real reviews with high accuracy using these linguistic features.

研究の動機と目的

• 言語的特徴が偽のオンラインレビューと本物のレビューを区別する有効性を調査すること。
• 特徴選択および次元削減技術を用いて、偽レビュー検出に最も顕著な言語的特徴を同定すること。
• 高精度な分類を実現するために、これらの言語的特徴を用いて複数の機械学習分類器を評価すること。
• 今後の偽レビュー検出分野の研究を支援するため、新たなデータセット「Restaurant Data Set」を寄与すること。

提案手法

• 本研究では、会話の記録分析から得られる15の言語的特徴を、テキストレビュー用に適合させたものを利用する。
• 特徴選択には、再帰的特徴削除（RFE）、ランダムフォレスト（RF）の特徴重要度、Boruta、分散分析（ANOVA）を用い、特徴の重要度を順位付けする。
• Multilayer Perceptron（MLP）を含む7種類の機械学習分類器を、データセット上で学習および評価する。
• データセットは「Restaurant Data Set」と命名され、オンラインソースから収集された本物および偽のレビューから構成される。
• 特徴間の相関関係を評価するための相関分析を実施し、特にロジスティック回帰やRFEにおける数値的不安定性を回避する。
• 最も優れた性能を示したモデルは、特徴選択により選ばれた4つの特徴（形容詞、冗長性、因果関係、語彙多様性）のみを用いている。

実験結果

リサーチクエスチョン

• RQ1 どの言語的特徴が偽のオンラインレビューと本物のレビューを区別するのに最も効果的か？
• RQ2 言語的特徴のみを用いた場合、さまざまな機械学習分類器の性能はどのようになるか？
• RQ3 分類タスクにおける各言語的特徴の相対的な重要性と有意性は何か？
• RQ4 特徴間の相関関係は、特にロジスティック回帰とRFEにおいて、モデルの安定性と解釈性にどのように影響するか？
• RQ5 最小限の言語的特徴セットで高い検出精度を達成できるか？また、最も識別能の高い特徴は何か？

主な発見

• Multilayer Perceptron（MLP）分類器が、形容詞の数、冗長性、因果関係、語彙多様性という4つの言語的特徴のみを用いて、79.09%の最高精度を達成した。
• ランダムフォレスト（RF）、RFE、Boruta、ANOVAの複数の特徴選択手法において、冗長性、因果関係、形容詞の数が一貫して最も重要な特徴として特定された。
• 偽のレビューは、本物のレビューと比較して、顕著に多くの冗長語句と一時停止を含んでおり、一般的に文の長さも長いことが判明した。
• 特徴間の相関分析から、因果関係と文の長さの間など、特定の特徴間に高い相関関係が認められ、これがモデルの安定性や解釈性に影響を及える可能性があることが示された。
• 本研究では、言語的特徴のみを用いても妥当な検出性能を達成できることを示した。過去の研究では、行動特徴と組み合わせることで20%の精度向上が達成されたが、本研究でも同様の効果が示された。
• 提案手法により、最小限で効果の高い特徴セットを同定することで、モデルの複雑さを低減し、効率的で解釈可能な偽レビュー検出を実現した。