[論文レビュー] Generating Sentiment-Preserving Fake Online Reviews Using Neural Language Models and Their Human- and Machine-based Detection

David Ifeoluwa Adelani, Haotian Mai+4 more|arXiv (Cornell University)|Jul 22, 2019

Topic Modeling参考文献 31被引用数 8

ひとこと要約

本稿では、実際のレビューで微調整したGPT-2と、BERTベースの感情分類器を用いたフィルタリングにより、感情を保持する偽のオンラインレビューを生成する低スキルな手法を提案する。生成されたレビューは、自然さと検出の観点から人間が書いたものと区別がつかず、人間の評価者によるランダムな識別では偽のレビューが22.5％の等誤差率（EER）にとどまり、検出の困難さが顕著に示されている。

ABSTRACT

Advanced neural language models (NLMs) are widely used in sequence generation tasks because they are able to produce fluent and meaningful sentences. They can also be used to generate fake reviews, which can then be used to attack online review systems and influence the buying decisions of online shoppers. To perform such attacks, it is necessary for experts to train a tailored LM for a specific topic. In this work, we show that a low-skilled threat model can be built just by combining publicly available LMs and show that the produced fake reviews can fool both humans and machines. In particular, we use the GPT-2 NLM to generate a large number of high-quality reviews based on a review with the desired sentiment and then using a BERT based text classifier (with accuracy of 96%) to filter out reviews with undesired sentiments. Because none of the words in the review are modified, fluent samples like the training data can be generated from the learned distribution. A subjective evaluation with 80 participants demonstrated that this simple method can produce reviews that are as fluent as those written by people. It also showed that the participants tended to distinguish fake reviews randomly. Three countermeasures, Grover, GLTR, and OpenAI GPT-2 detector, were found to be difficult to accurately detect fake review.

研究の動機と目的

• 非専門家が公開済みの事前学習済み言語モデルのみを用いて、高品質で感情を保持する偽のレビューを生成できるかどうかを調査すること。
• このような偽のレビューが、人間と機械による検出をどれほど効果的に回避できるかを評価すること。
• 既存の自動検出手法（Grover、GLTR、OpenAI GPT-2検出器）が、これらの生成レビューに対してどの程度の性能を示すかを評価すること。
• オンラインレビューシステムを攻撃するためのスケーラブルで低コストな脅威モデルを構築する可能性を検討すること。

提案手法

• 目的の感情を保持するレビューを生成するために、実際のAmazonおよびYelpレビューのデータセットでGPT-2を微調整する。
• 感情分類器（96％の正確性）を用いて、望ましくない感情を持つレビューをフィルタリングし、目的の感情を持つレビューのみを保持する。
• シードレビューをプロンプトとして用い、微調整済みGPT-2モデルから自己回帰的にサンプリングすることで、大規模な偽レビューを生成する。
• 後処理や語彙レベルの変更を一切施さず、学習データの自然さと一貫性を保ったまま生成する。
• 80名の参加者を対象に主観的評価を実施し、偽レビューの自然さと検出可能性を評価する。
• 等誤差率（EER）を主な指標として用い、3つの自動検出手法（Grover、GLTR、OpenAI GPT-2検出器）の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 低スキルな攻撃者は、公開済みの事前学習済み言語モデルのみを用いて、感情を保持し、自然な偽レビューを生成できるか？
• RQ2 この手法で生成された偽レビューについて、人間の評価者が本物と偽物をどれほど効果的に区別できるか？
• RQ3 既存の自動検出システム（Grover、GLTR、GPT-2検出器）は、これらの偽レビューをどの程度効果的に特定できるか？
• RQ4 複数の検出手法を組み合わせることで、全体の検出性能にどのような影響があるか？

主な発見

• 生成された偽レビューは、Amazonベースのレビューで平均自然さスコア3.23（1〜5スケール）、Yelpベースのレビューで3.30を記録し、それぞれ本物のレビュー（2.95および3.49）と同等の水準に達した。
• 主観的評価において、参加者は偽のレビューを本物のものと誤認する確率が20.8％から34.6％にまで達し、ほぼ偶然の性能に近い結果となった。
• 最も性能の高かった自動検出手法、OpenAI GPT-2検出器は、Amazonデータセットで等誤差率（EER）23.5％を記録し、検出能力に限界があることを示した。
• GroverとGLTRを統合するとEERは34.9％に低下したが、3つの検出器をすべて統合した場合、EERは22.5％にまで低下し、依然として完全な検出には至らなかった。
• 低いEER値は、現在の検出システムがこの種の偽レビュー生成に対して脆弱であることを示しており、オンラインレビューシステムにおける深刻な脆弱性を浮き彫りにしている。
• 微調整とフィルタリングのみに依存する本手法のシンプルさは、熟練した技術がなくても高品質な偽レビューを生成可能であることを示している。