[論文レビュー] Attention-based Bidirectional LSTM for Deceptive Opinion Spam Classification

Ashish Salunkhe|arXiv (Cornell University)|Dec 29, 2021

Spam and Phishing Detection被引用数 8

ひとこと要約

本稿では、事前学習済みのGLoVe埋め込みとアテンション機構を活用して意味的理解を向上させることで、オンラインレビューにおけるだましの意見スパムを分類するアテンションベースの双方向LSTMモデルを提案する。このアプローチは、Deceptive Opinion Spam Corpus上で90.25%のテスト精度を達成し、従来の機械学習モデルや他のディープラーニングアーキテクチャを上回った。

ABSTRACT

Online Reviews play a vital role in e commerce for decision making. Much of the population makes the decision of which places, restaurant to visit, what to buy and from where to buy based on the reviews posted on the respective platforms. A fraudulent review or opinion spam is categorized as an untruthful or deceptive review. Positive reviews of a product or a restaurant helps attract customers and thereby lead to an increase in sales whereas negative reviews may hamper the progress of a restaurant or sales of a product and thereby lead to defamed reputation and loss. Fraudulent reviews are deliberately posted on various online review platforms to trick customers to buy, visit or distract against a product or a restaurant. They are also written to commend or discredit the product's repute. The work aims at detecting and classifying the reviews as deceptive or truthful. It involves use of various deep learning techniques for classifying the reviews and an overview of proposed approach involving Attention based Bidirectional LSTM to tackle issues related to semantic information in reviews and a comparative study over baseline machine learning techniques for review classification.

研究の動機と目的

• 消費者をだますオンラインレビューの検出という課題に対処すること。
• レビューのテキストに内在する順序的で文脈的な意味的パターンを捉えることができるディープラーニングモデルを活用することで、分類性能を向上させること。
• 偽のレビューと真のレビューのバランスの取れたデータセットを用いることで、データの不均衡を克服し、モデルの一般化性能を向上させること。
• アテンション機構が、だましの兆候を示す顕著な語句やフレーズを強調する能力を評価すること。
• 従来の機械学習モデルや他のディープラーニングアーキテクチャと比較して、本稿で提案するモデルの有効性を評価すること。

提案手法

• レビューのテキストにおける順序的依存関係をモデル化するために、双方向長短期記憶（BiLSTM）ネットワークを採用し、前向きおよび後向きの文脈を捉えた。
• 異なる語や隠れ状態の重要性を動的に重みづけするアテンション機構を統合し、だましの言語的兆候に焦点を当てる。
• 語を密度行列空間に表現するために、事前学習済みのGLoVe語の埋め込み（50次元および100次元）を用いた。
• トークン化、ストップワードの除去、小文字化といった標準的手法を用いてテキストを前処理し、モデル入力の品質を向上させた。
• 1600件のホテルレビューから成るバランスの取れたデータセットを用い、教師あり学習でモデルを訓練した。ラベルは、感情がだましのものか真実のものかを示していた。
• 保持されたテストセット上で、標準的な自然言語処理指標（正確度、適合率、再現率、F1スコア）を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 アテンションベースの双方向LSTMモデルは、オンラインレビューにおけるだましの意見スパムと真実の意見スパムを効果的に区別できるか？
• RQ2 標準的なBiLSTMと比較して、アテンション機構は、だましの言語的パターンを特定する能力をどのように向上させるか？
• RQ3 本稿で提案するモデルは、同じベンチマークデータセット上で、Multinomial Naive Bayes や SVM といった従来の機械学習モデルと比べてどの程度の性能を示すか？
• RQ4 事前学習済み語の埋め込み（例：GLoVe）は、意見スパム検出における分類精度をどの程度向上させるか？
• RQ5 Deceptive Opinion Spam Corpus上で、本モデルの性能は、CNN-LSTM やアテンション強化型モデルなどの他のディープラーニングアーキテクチャと比べてどうか？

主な発見

• 100次元のGLoVe埋め込みを用いたアテンションベースのBiLSTMは、テスト精度90.25%を達成し、大多数のベースラインモデルや他のディープラーニングアーキテクチャを上回った。
• テストセットではF1スコアが90.25%に達し、偽のレビューを検出する際の適合率と再現率のバランスが良好であることが示された。
• テストしたすべてのディープラーニングモデルの中で、アテンションベースのBiLSTMは最高の検証精度（99.18%）とテスト精度（90.25%）を記録し、CNN+LSTM や標準的なBiLSTMモデルを上回った。
• Multinomial Naive Bayes やロジスティック回帰といった従来モデルは、それぞれ84.5%および79.75%のテスト精度にとどまり、アテンションを備えたディープラーニングの優位性が裏付けられた。
• アブレーションスタディの結果、n-gram や文字レベルのTF-IDFベクトルといったレビュー中心の特徴量は競争力のある結果を示したが、アテンションを備えたディープニューラルネットワークに及ばなかった。
• アテンション重みの可視化により、モデルが効果的に重要なだましのフレーズや感情の不一致を強調していることが確認され、解釈可能性と関連する言語的兆候への注目が裏付けられた。