[論文レビュー] Semantic Scan: Detecting Subtle, Spatially Localized Events in Text Streams

Abhinav Maurya, Kenton Murray+4 more|arXiv (Cornell University)|Feb 13, 2016

Data-Driven Disease Surveillance参考文献 33被引用数 7

ひとこと要約

Semantic Scan (SS) は、対照的トピックモデリングとオンライン文書割り当て、尤度比に基づく空間スキャンを統合することで、リアルタイムのテキストストリームにおいて微細で空間的に局所化された発生事象を検出する、新規でスケーラブルなフレームワークである。教師ありデータや手動チューニングを必要とせず、優れた検出速度、正確性、異常事象の特徴化を達成しており、最大10倍速く、97％の検出正確性を実現している。

ABSTRACT

Early detection and precise characterization of emerging topics in text streams can be highly useful in applications such as timely and targeted public health interventions and discovering evolving regional business trends. Many methods have been proposed for detecting emerging events in text streams using topic modeling. However, these methods have numerous shortcomings that make them unsuitable for rapid detection of locally emerging events on massive text streams. In this paper, we describe Semantic Scan (SS) that has been developed specifically to overcome these shortcomings in detecting new spatially compact events in text streams. Semantic Scan integrates novel contrastive topic modeling with online document assignment and principled likelihood ratio-based spatial scanning to identify emerging events with unexpected patterns of keywords hidden in text streams. This enables more timely and accurate detection and characterization of anomalous, spatially localized emerging events. Semantic Scan does not require manual intervention or labeled training data, and is robust to noise in real-world text data since it identifies anomalous text patterns that occur in a cluster of new documents rather than an anomaly in a single new document. We compare Semantic Scan to alternative state-of-the-art methods such as Topics over Time, Online LDA, and Labeled LDA on two real-world tasks: (i) a disease surveillance task monitoring free-text Emergency Department chief complaints in Allegheny County, and (ii) an emerging business trend detection task based on Yelp reviews. On both tasks, we find that Semantic Scan provides significantly better event detection and characterization accuracy than competing approaches, while providing up to an order of magnitude speedup.

研究の動機と目的

• 膨大でノイズの多いテキストストリームにおいて、急速に発生する空間的に局所化された事象を検出するための、従来のトピックモデリング手法の限界を克服すること。
• 教師ありデータや手動による干渉に依存せず、異常なテキストパターンの早期かつ正確な検出を可能にすること。
• 公衆衛生監視やビジネストレンド監視などの実世界の応用分野において、事象検出および特徴化のタイムリーさと正確性を向上させること。
• バースト性の高いトピック動態に適応しつつ、スパムやスラング、方言の変化などのノイズに強く、スケーラブルでオンラインなフレームワークを構築すること。
• 自由テキストで位置情報が付与されたデータストリームにおいて、発生事象の検出および特徴化を、最先端の手法を上回ること。

提案手法

• 背景とフォアグラウンドの文書クラスタ間のトピック差を特定することで、異常なキーワードパターンを強調する、対照的トピックモデリングを統合する。
• リアルタイムで新しい文書をトピックに動的に割り当てるオンライン文書割り当てを採用し、大規模なテキストストリームへのスケーラビリティを実現する。
• 統計的に有意な文書クラスタ（キーワードの予期しない共起）を検出する、原則的な尤度比に基づく空間スキャンを採用する。
• 背景トピック（一般的・広範囲的）とフォアグラウンドトピック（特定的・局所的）を分離するためのバイクラスタリングアプローチを適用し、局所的イベントの検出を強化する。
• トピック分布に適応した空間スキャン統計フレームワークを活用し、テキストストリームにおける異常な空間的領域の検出を可能にする。
• 教師ありデータや前処理を一切行わず、統計的有意性に依存して、ノイズが多く構造のないテキストにおける発生事象を検出する。

実験結果

リサーチクエスチョン

• RQ1 トピックモデリングフレームワークは、従来の手法よりも、リアルタイムのテキストストリームにおいて微細で空間的に局所化された事象をより効果的に検出できるか？
• RQ2 Topics over Time、Online LDA、Labeled LDA といった最先端の手法と比較して、Semantic Scan は発生事象検出においてどのように性能を発揮するか？
• RQ3 疾病監視やビジネストレンド検出といった実世界の応用分野において、Semantic Scan は検出速度と正確性をどの程度向上させるか？
• RQ4 Hellinger 距離、空間的重複、文書的重複といった指標を用いて、フレームワークは発生事象の範囲と内容を正確に特徴づけられるか？
• RQ5 誤字やスラングなどのノイズや言語的変化に対して、Semantic Scan はどの程度の耐性を示すか？

主な発見

• Semantic Scan は、最大10倍の検出スピードアップを達成し、平均実行時間は1,649秒（Topics over Time は43,281秒）であった。
• 1か月あたりの誤検出率を固定した場合、SS は平均2.44日で事象を検出できた。これに対して ToT（5.71日）、OLDA（3.29日）、Labeled LDA（4.11日）は劣っていた。
• 1か月あたりの誤検出率を固定した場合、SS は注入された事象の97％を検出できた。これに対して ToT（85％）、OLDA（80％）、Labeled LDA（85％）は顕著に劣っていた。
• 真のトピック分布と検出されたトピック分布との間のHellinger距離がSSで最も低く、優れたトピック特徴化の正確性を示している。
• 空間的重複と文書的重複の指標から、SS は特に初期検出段階で競合手法を上回っており、影響を受ける領域および文書の正確な局所化を確認した。
• 救急部門およびYelpレビューのデータセットの両方において、SS はノイズおよび言語的変化に対して高い耐性を示し、手動チューニングや教師ありデータなしに高い性能を維持した。