[論文レビュー] Using BERT Encoding to Tackle the Mad-lib Attack in SMS Spam Detection.

Sergio Rojas Galeano|arXiv (Cornell University)|Jul 13, 2021

Spam and Phishing Detection参考文献 23被引用数 10

ひとこと要約

本稿は、スパムメッセージを同義語置換によって隠ぺいする「Mad-lib攻撃」に対するBERTの耐性を調査している。5,572件のSMSスパムメッセージから構成されるデータセットを用い、平均1.82語の置換が加えられた状態でも、BERTは96%のバランス精度を維持しているのに対し、従来のモデル（BoWおよびTFIDF）は運の範囲まで性能が低下し、同義語に基づく攻撃に対するBERTの優れた意味的耐性が示された。

ABSTRACT

One of the stratagems used to deceive spam filters is to substitute vocables with synonyms or similar words that turn the message unrecognisable by the detection algorithms. In this paper we investigate whether the recent development of language models sensitive to the semantics and context of words, such as Google's BERT, may be useful to overcome this adversarial attack (called as per the word substitution game). Using a dataset of 5572 SMS spam messages, we first established a baseline of detection performance using widely known document representation models (BoW and TFIDF) and the novel BERT model, coupled with a variety of classification algorithms (Decision Tree, kNN, SVM, Logistic Regression, Naive Bayes, Multilayer Perceptron). Then, we built a thesaurus of the vocabulary contained in these messages, and set up a Mad-lib attack experiment in which we modified each message of a held out subset of data (not used in the baseline experiment) with different rates of substitution of original words with synonyms from the thesaurus. Lastly, we evaluated the detection performance of the three representation models (BoW, TFIDF and BERT) coupled with the best classifier from the baseline experiment (SVM). We found that the classic models achieved a 94% Balanced Accuracy (BA) in the original dataset, whereas the BERT model obtained 96%. On the other hand, the Mad-lib attack experiment showed that BERT encodings manage to maintain a similar BA performance of 96% with an average substitution rate of 1.82 words per message, and 95% with 3.34 words substituted per message. In contrast, the BA performance of the BoW and TFIDF encoders dropped to chance. These results hint at the potential advantage of BERT models to combat these type of ingenious attacks, offsetting to some extent for the inappropriate use of semantic relationships in language.

研究の動機と目的

• 敵対的同義語置換攻撃下におけるBERT埋め込み表現のスパムSMS検出効果を評価すること。
• このような攻撃下で、BERTの性能を従来のテキスト表現モデル（BoWおよびTFIDF）と比較すること。
• 文脈を考慮する言語モデル（例：BERT）が、同義語置換による意味的変更を加えられたメッセージに対しても高い検出精度を維持できるかどうかを評価すること。
• スパム検出におけるBERTの耐性の限界を特定すること。

提案手法

• SMSスパムデータセットの語彙から辞書を構築し、制御された同義語置換を可能にする。
• BoW、TFIDF、BERT埋め込み表現の各モデルに対して、SVM、ロジスティック回帰などの複数の分類器を訓練・評価し、ベースライン性能を確立した。
• 各メッセージを異なる割合の同義語置換で変更した、ホールドアウトテストセットを生成し、Mad-lib攻撃をシミュレートした。
• 全モデルおよび攻撃レベルにおける検出性能を、バランス精度（BA）で測定した。
• 攻撃評価フェーズにおいて使用するため、ベースライン実験で最も高い性能を示したSVMを選定した。
• Mad-lib攻撃における置換率の増加に伴い、各表現モデル（BoW、TFIDF、BERT）の耐性を評価した。

実験結果

リサーチクエスチョン

• RQ1 同義語置換（Mad-lib攻撃）によって変更されたメッセージに対しても、BERT埋め込み表現は高いスパム検出精度を維持できるか？
• RQ2 BoWおよびTFIDFのような従来モデルは、同義語に基づく敵対的攻撃下でBERTと比べてどのように性能が低下するか？
• RQ3 BERTの検出性能が著しく低下し始める平均置換率はどの程度か？
• RQ4 BERTが依然として従来モデルを上回る性能を示す、意味的摂動の閾値はどこか？

主な発見

• BERTは元のデータセットで96%のバランス精度を達成し、BoWおよびTFIDFが94%を記録したのを上回った。
• 平均1.82語の置換が加えられたMad-lib攻撃下でも、BERTは96%のバランス精度を維持した。
• 平均3.34語の置換が加えられた場合でも、BERTのバランス精度は95%を維持し、強い耐性を示した。
• それに対して、BoWおよびTFIDFモデルのバランス精度は、同じ攻撃条件下で運の範囲まで低下した。
• 結果から、BERTの文脈的理解力のおかげで、同義語置換による意味的隠ぺいに対してもスパムを認識できることが示された。
• 本研究は、BERTモデルが従来のボックオブワードおよびTFIDF表現よりも、同義語に基づく敵対的攻撃に対してより耐性があることを実証した。