[論文レビュー] Finding Deceptive Opinion Spam by Any Stretch of the Imagination

Myle Ott, Yejin Choi+2 more|arXiv (Cornell University)|Jul 22, 2011

Spam and Phishing Detection参考文献 42被引用数 687

ひとこと要約

本論文は、800件の偽造および真実の意見レビューから成る、大規模かつ公開可能なゴールドスタンダードデータセットを初めて提供し、n-gram特徴量と心理言語的指標を組み合わせたハイブリッド機械学習アプローチを提案して、偽造的な意見スパムを検出する。最も優れたモデルは90％に近い正確度を達成し、人間の審査者を著しく上回り、偽造レビューは空間的明確性の低下や第一人称単数代名詞の増加といった、想像的書き込みの特徴を示すことが明らかになった。

ABSTRACT

Consumers increasingly rate, review and research products online. Consequently, websites containing consumer reviews are becoming targets of opinion spam. While recent work has focused primarily on manually identifiable instances of opinion spam, in this work we study deceptive opinion spam---fictitious opinions that have been deliberately written to sound authentic. Integrating work from psychology and computational linguistics, we develop and compare three approaches to detecting deceptive opinion spam, and ultimately develop a classifier that is nearly 90% accurate on our gold-standard opinion spam dataset. Based on feature analysis of our learned models, we additionally make several theoretical contributions, including revealing a relationship between deceptive opinions and imaginative writing.

研究の動機と目的

• 偽造的な意見スパム検出のための大規模かつゴールドスタンダードのデータセットが不足しているという問題に対処すること。
• 人間の判断よりも、計算言語学的手法および心理的欺瞞の兆候を用いた自動検出が、偽造的な意見スパムをより効果的に検出できるかどうかを調査すること。
• 偽造レビューと想像的書き込みの間、真実のレビューと情報的書き込みの間の関係を探ること。
• テキスト分類、心理言語的欺瞞検出、ジャンル識別という3つの自動検出アプローチを評価および比較すること。
• オンラインレビューにおける欺瞞の背後にある言語的および認知的パターンに関する理論的知見を提供すること。

提案手法

• 著者らは、専門家によるアノテーションと人間による評価を通じて検証された、400件の真実のレビューと400件の偽造のホテルレビューから成るデータセットを収集・整備した。
• 3つの検出アプローチを適用した：(1) SVM分類器を用いたn-gramベースのテキスト分類、(2) LIWC特徴量を用いた心理言語的欺瞞検出、(3) 品詞および語彙的パターンに基づくジャンル識別。
• n-gram特徴量とLIWC特徴量の両方を用いたハイブリッドモデルを、特徴選択と交差検証を用いて最適化して訓練した。
• 各モデルの性能は10分割交差検証を用いて評価され、正確度と統計的有意性が検証された。
• SVM分類器が学習した重みを分析することで特徴量の重要性を評価した。特にliwc+bigramsモデルでの分析を行った。
• 偽造スパムの検出可能性を評価するために、人間の性能と機械学習モデルを比較した。

実験結果

リサーチクエスチョン

• RQ1 計算手法を用いて偽造的な意見スパムを信頼性高く検出可能か。また、人間の判断と比較して性能はどうなるか。
• RQ2 感情、代名詞の使用、心理的距離の感覚といった心理言語的特徴量が、オンラインレビューにおける欺瞞をどれほど予測できるか。
• RQ3 偽造レビューと想像的書き込み、真実のレビューと情報的書き込みの間には、意味のある言語的またはジャンル的差異があるか。
• RQ4 n-gram特徴量が心理言語的特徴量よりも、偽造的な意見スパム検出において優れているか。
• RQ5 空間的参照や第一人称単数代名詞といった、具体的な言語的手がかりは、偽造レビューと真実のレビューをどのように区別するか。

主な発見

• n-gramベースのテキスト分類アプローチが、最も高い個別正確度を達成し、心理言語的およびジャンルベースのモデルを著しく上回った。
• n-gramとLIWC特徴量を組み合わせたハイブリッドモデルは、交差検証でほぼ90％の正確度を達成し、複数の信号タイプを統合することの利点を示した。
• 人間の審査者はほぼ確率的水準（運任せ）の性能にとどまり、偽造的な意見スパムが人間にとって信頼性を持って検出できないことを示した。
• 偽造レビューでは第一人称単数代名詞（例：'I', 'my'）の使用が増加しており、伝統的な欺瞞理論とは逆転している。これは、信ぴょう性を高めるためのものと考えられる。
• 偽造レビューには、具体的で感覚的で空間的な記述（例：'on', 'bathroom', 'location'）が少ないことが確認され、嘘をつく者が空間的詳細をエンコードしにくいという仮説を支持した。
• 本研究では、偽造的な意見スパムと想像的書き込みとの間に強い言語的類似性が見つかり、特に品詞の分布と明確性の低下が特徴的であった。これは、ジャンルレベルでの関連性を示唆している。