[論文レビュー] Learning to Identify Regular Expressions that Describe Email Campaigns

Paul Prasse, Christoph Sawade+2 more|arXiv (Cornell University)|Jun 18, 2012

Machine Learning and Algorithms参考文献 10被引用数 12

ひとこと要約

この論文は、ポストマスターが提供する専門家ラベル付きトレーニングデータを用いて、メールスパムキャンペーンを記述する正規表現を自動で学習する構造的予測アプローチを提案する。タスクをカスタム損失関数を用いた構造的出力学習問題としてモデル化することで、人間が作成した正規表現に類似したパターンを高い精度で推論可能であり、メールサービスプロバイダーと共同した実世界の事例研究でも検証された。

ABSTRACT

This paper addresses the problem of inferring a regular expression from a given set of strings that resembles, as closely as possible, the regular expression that a human expert would have written to identify the language. This is motivated by our goal of automating the task of postmasters of an email service who use regular expressions to describe and blacklist email spam campaigns. Training data contains batches of messages and corresponding regular expressions that an expert postmaster feels confident to blacklist. We model this task as a learning problem with structured output spaces and an appropriate loss function, derive a decoder and the resulting optimization problem, and a report on a case study conducted with an email service.

研究の動機と目的

• ポストマスターがスパムキャンペーンをブラックリスト化するために手作業で正規表現を書く作業を自動化すること。
• ラベル付きメッセージバッチと専門家が提供する正規表現パターンから、人間が作成するような正規表現を学習する課題に対処すること。
• 正規表現推論タスクを構造的出力空間を備えた構造的予測問題としてモデル化すること。
• 未学習のスパムキャンペーンに対しても一般化が良く、解釈可能性を保ったまま学習フレームワークを開発すること。

提案手法

• 正規表現推論を、可能な正規表現を表す構造的出力空間を持つ構造的予測問題としてモデル化する。
• 予測された正規表現と正解の正規表現との差を測るためのカスタム損失関数を定義し、文字列マッチングにおける適合率と再現率に重点を置く。
• 損失関数に基づいてデコーダーを導出することで、正確な正規表現生成を指向する学習プロセスを支援する。
• 入力となるメッセージバッチに対して正しい正規表現出力を最大化する最適化問題を定式化する。
• メッセージ文字列の特徴表現を用いて、可能な正規表現の空間における探索をガイドする。
• 実際のスパムキャンペーンデータを用いたメールサービスプロバイダーとの実世界の事例研究でフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、スパムキャンペーン検出のための専門家が作成した正規表現に類似した正規表現を学習できるか？
• RQ2 提案された構造的予測アプローチは、メッセージバッチから正確で一般化可能な正規表現パターンをどれほど効果的に推論できるか？
• RQ3 標準的手法と比較して、カスタム損失関数が推論された正規表現の品質に与える影響は何か？
• RQ4 トレーニングデータに含まれない未観測のスパムキャンペーンに対して、モデルはどの程度一般化できるか？
• RQ5 多様で変化し続けるスパムパターンを有する実世界のメールサービス環境に、この手法はスケーラブルか？

主な発見

• 提案手法は、専門家がラベル付けした表現と一致する正規表現パターンを学習するベースライン手法を著しく上回る。
• カスタム損失関数により、スパムメッセージに含まれる関連する構文的・意味的パターンを、専門家が作成した正規表現とよりよく一致させることが可能になった。
• 未学習のスパムキャンペーンに対しても、正規表現マッチングの適合率と再現率を高い水準で維持し、良好な一般化性能を示した。
• 事例研究により実用的妥当性が確認され、実際のメールサービス環境での有効性が示された。
• フレームワークにより、時間のかかる手作業の作業が自動化され、専門家によるポストマスターの正規表現作成作業への依存が軽減された。