[論文レビュー] Text Data Augmentation: Towards better detection of spear-phishing emails

Mehdi Regina, Maxime Meyer+1 more|arXiv (Cornell University)|Jul 4, 2020

Spam and Phishing Detection被引用数 11

ひとこと要約

本論文は、標的型フィッシングメールの検出を改善するためのコーパスおよびタスクに依存しないテキストデータ拡張フレームワークを提案する。このフレームワークは、BERTベースの語置換、複数ステップのバックトランスレーション、ヒューリスティックフィルタリングを組み合わせており、ラベル互換性を保ったまま多様で意味的に妥当な拡張テキストを生成することで、低リソースなテキスト分類タスク、特にビジネスメール改ざん（BEC）検出においてモデルの汎化性能を向上させる。

ABSTRACT

Text data augmentation, i.e., the creation of new textual data from an existing text, is challenging. Indeed, augmentation transformations should take into account language complexity while being relevant to the target Natural Language Processing (NLP) task (e.g., Machine Translation, Text Classification). Initially motivated by an application of Business Email Compromise (BEC) detection, we propose a corpus and task agnostic augmentation framework used as a service to augment English texts within our company. Our proposal combines different methods, utilizing BERT language model, multi-step back-translation and heuristics. We show that our augmentation framework improves performances on several text classification tasks using publicly available models and corpora as well as on a BEC detection task. We also provide a comprehensive argumentation about the limitations of our augmentation framework.

研究の動機と目的

• 標的型フィッシングメール検出において、BECインスタンスがまれで収集が困難であるという限られたアノテート済みデータの課題に対処する。
• タスク固有のトレーニングやファインチューニングを必要とせず、多様なNLPタスクに適用可能な汎用的なテキスト拡張フレームワークを開発する。
• 多様で文法的に正しい、かつラベル互換性を持つ拡張テキストを生成することで、低データ環境におけるモデルの汎化性能を向上させる。
• 拡張テキストが意味を保ち、元のテキストの妥当なパラフレーズであることを保証することで、データ汚染を防ぎ、タスクの関連性を維持する。
• 感情分析や質問分類などの異なるNLPアプリケーションに適応可能なモジュラで再利用可能なフレームワークを提供する。

提案手法

• 意味的に類似する語置換を特定するためにBERT埋め込みを活用し、コサイン類似度のしきい値を適用して関連性を保証する。
• 中間言語を用いた複数ステップのバックトランスレーションを適用し、意味を保ちつつ多様性を高めるパラフレーズ変種を生成する。
• 品詞（POS）タグの維持と文法的不整合の回避を目的として、ヒューリスティックルールを統合する。
• 最終的な検証モジュールを実装し、類似する重複テキストを除外し、類似度検出を用いて拡張テキストが元の入力とパラフレーズであることを保証する。
• 各入力テキストを独立して処理するパイプラインとして、すべての手法を統合し、コーパスに依存しない応用を可能にする。
• タスク固有のファインチューニングやトレーニングを一切使用せず、事前学習済み言語モデル上でサービスとして動作する。

実験結果

リサーチクエスチョン

• RQ1 コーパスに依存しないテキスト拡張フレームワークは、BEC検出のような低リソースNLPタスクにおけるモデルの汎化性能を向上させることができるか？
• RQ2 BERTベースの置換、バックトランスレーション、ヒューリスティックの組み合わせが、拡張テキストの多様性と妥当性をどの程度向上させるか？
• RQ3 検証モジュールは、ラベル互換性を保ち、拡張データにおけるデータ汚染をどの程度効果的に防止できるか？
• RQ4 フレームワークのモularityが、著者識別などのスタイルに敏感なタスクにどのように適応可能にするか？
• RQ5 現在の拡張手法は、離散的テキスト空間における意味的整合性と文法的正しさをどの程度保っているか？

主な発見

• 提案された拡張フレームワークは、公開済みのモデルとデータセットを用いて、BEC検出を含む複数のテキスト分類タスクでモデル性能を顕著に向上させる。
• SST-2およびTREC-6における実験から、非フィッシング文脈においてもフレームワークがモデルの汎化性能を向上させることを確認し、その広範な適用可能性を裏付けた。
• t-SNE可視化から、拡張テキストが元のサンプルと意味的に近く、埋め込み空間における意味的近傍領域内で制御された多様性を保っていることが示された。
• 検証モジュールは、類似重複テキストの生成を効果的に低減させ、拡張テキストが元の入力とパラフレーズであることを保証したが、語の重複は多いが意味が異なるケースでは失敗する可能性がある。
• フレームワークのモularityにより、著者識別のようなスタイルの保持が重要なタスクではバックトランスレーションを除外できる。
• 効果的である一方で、フレームワークは非常に多様なテキストを生成する点や、複雑な文法的・意味的シフト下でも完全な意味的整合性を維持する点で制限を抱えている。