[論文レビュー] Online Fake Review Detection Using Supervised Machine Learning And BERT Model

Abrar Qadir Mir, Furqan Yaqub Khan+1 more|arXiv (Cornell University)|Jan 9, 2023

Spam and Phishing Detection被引用数 11

ひとこと要約

論文はBERT由来の語 embeddingsと従来の分類器を組み合わせ、SVMが最も高い精度(87.81%)を達成し、先行研究を7.6%ポイント上回ることを見出した。

ABSTRACT

Online shopping stores have grown steadily over the past few years. Due to the massive growth of these businesses, the detection of fake reviews has attracted attention. Fake reviews are seriously trying to mislead customers and thereby undermine the honesty and authenticity of online shopping environments. So far, various fake review classifiers have been proposed that take into account the actual content of the review. To improve the accuracies of existing fake review classification or detection approaches, we propose to use BERT (Bidirectional Encoder Representation from Transformers) model to extract word embeddings from texts (i.e. reviews). Word embeddings are obtained in various basic methods such as SVM (Support vector machine), Random Forests, Naive Bayes, and others. The confusion matrix method was also taken into account to evaluate and graphically represent the results. The results indicate that the SVM classifiers outperform the others in terms of accuracy and f1-score with an accuracy of 87.81%, which is 7.6% higher than the classifier used in the previous study [5].

研究の動機と目的

• 拡大するオンラインショッピングの環境において、信頼できる偽レビュー検出の必要性を喚起する。
• 偽レビュー分類のためのBERT由来語埋め込みの効果を調査する。
• BERT特徴量を用いた教師あり機械学習分類器（例：SVM、Random Forest、Naive Bayes）を比較する。
• 混同行列から派生する指標（精度とF1スコアなど）を用いてモデル性能を評価する。

提案手法

• BERTモデルを用いてレビューから語埋め込みを抽出する。
• BERT特徴量上で教師あり分類器（SVM、Random Forest、Naive Bayes など）を訓練する。
• 精度とF1スコアを用いて分類器を評価し、結果は混同行列で要約する。
• 現在の結果を先行研究と比較して改善を評価する。
• SVMが他より優れており87.81%の精度を達成したと報告する。

実験結果

リサーチクエスチョン

• RQ1 標準的な教師あり分類器全体で、BERTベースの語埋め込みは偽レビュー検出の性能を向上させるか。
• RQ2 BERT特徴量を入力とした場合、どの分類器（SVM、Random Forest、Naive Bayes など）が偽レビューを最もよく検出するか。
• RQ3 提案手法は、精度とF1スコアの観点から、従来の偽レビュー検出手法とどう比較されるか。

主な発見

• BERT embeddingsを用いたSVMが最高の精度87.81%。
• 提案手法は前研究で用いられた分類器を7.6%上回る。
• BERTの語埋め込みは、教師あり学習器と組み合わせた偽レビュー分類の有効な特徴である。
• 混同行列ベースの評価は、報告された精度とF1スコアの改善を裏付ける。