[論文レビュー] 'Beating the news' with EMBERS: Forecasting Civil Unrest using Open Source Indicators

Naren Ramakrishnan, P. J. Butler+28 more|arXiv (Cornell University)|Feb 27, 2014

Data-Driven Disease Surveillance参考文献 12被引用数 48

ひとこと要約

EMBERSは、ソーシャルメディア、ニュース、経済指標などオープンソースデータを用いて、10か国にわたるラテンアメリカ諸国における市民の反乱を自動で24時間体制で予測するシステムである。マルチモデル統合アーキテクチャと確率的ソフト論理を採用し、予測のリードタイムが最大12日間で、構造的かつ高精度な警告を生成する。品質スコアは3.0を超えており、2013年6月のブラジルでの抗議行動を的確に予測した。

ABSTRACT

We describe the design, implementation, and evaluation of EMBERS, an automated, 24x7 continuous system for forecasting civil unrest across 10 countries of Latin America using open source indicators such as tweets, news sources, blogs, economic indicators, and other data sources. Unlike retrospective studies, EMBERS has been making forecasts into the future since Nov 2012 which have been (and continue to be) evaluated by an independent T&E team (MITRE). Of note, EMBERS has successfully forecast the uptick and downtick of incidents during the June 2013 protests in Brazil. We outline the system architecture of EMBERS, individual models that leverage specific data sources, and a fusion and suppression engine that supports trading off specific evaluation criteria. EMBERS also provides an audit trail interface that enables the investigation of why specific predictions were made along with the data utilized for forecasting. Through numerous evaluations, we demonstrate the superiority of EMBERS over baserate methods and its capability to forecast significant societal happenings.

研究の動機と目的

• 多様なオープンソースデータストリームを用いて、リアルタイムで自動化された市民の反乱予測システムを開発すること。
• 特に複雑で変動の激しい環境において、集団的抗議行動が発生する前に対策を講じられるように、その予測に挑戦すること。
• アナリストが利用可能な構造的で実行可能な警告（場所、時期、対象集団、原因、確率を含む）を提供すること。
• 独立したゴールドスタンダードレポートと比較して、現実世界の状況下で予測性能を継続的に評価すること。
• 予測の根拠を追跡可能な監査トレールを通じて、説明可能性を実現すること。

提案手法

• EMBERSは、ソーシャルメディア（例：Twitter）、ニュース、ブログ、経済指標、Wikipediaなどを含む、複数のオープンソースフィードを通じて、10か国にわたるラテンアメリカ諸国からリアルタイムでデータを受信する。
• 自然言語処理、センチメント分析、イベント検出を通じて、生データを特徴量に変換するモジュラーで大規模なデータパイプラインを採用する。
• 各データソースに特化した複数のモデルを訓練する。例：動的クエリ拡張、ボリュームベースのモデル、MLE、計画済み抗議検出、カスケードモデルなど。各モデルは独立して予測を生成する。
• 予測結果を統合するために、確率的ソフト論理（PSL）を用いた統合エンジンを採用。これにより、精度、再現率、リードタイムといった評価基準の間で、集団的推論とトレードオフを実現できる。
• 重複するか低信頼度のアラートをフィルタリングする抑制エンジンを導入。これにより、信号の品質が向上しながらも、重要な出来事は保持される。
• システムは、時刻、場所（都市レベル）、対象集団、原因、確率という5つの構成要素を持つ構造的アラートを生成し、説明可能性を確保するための完全な監査トレールを維持する。

実験結果

リサーチクエスチョン

• RQ1 完全に自動化され、24時間体制で稼働するシステムが、オープンソースデータのみを用いて、意味のあるリードタイムと精度で市民の反乱を予測できるか？
• RQ2 異なるデータソースとモデルは予測性能にどのように寄与するか。それらを最適に統合する方法は何か？
• RQ3 リードタイムと予測品質の関係は何か。これはデータソースや国によって異なるか？
• RQ4 システムのパフォーマンスは時間経過とともにどのように変化するか。ベースライン手法を一貫して上回ることができるか？
• RQ5 構造的で説明可能な警告は、現実世界の予測においてアナリストの意思決定をどの程度改善できるか？

主な発見

• EMBERSは10か国のラテンアメリカ諸国で平均3.11の品質スコアを達成し、3.0の閾値を超えており、ベースライン手法を一貫して上回っていることが確認された。
• システムは2013年6月のブラジル抗議行動（「ブラジルの春」）を高い正確性で予測した。反乱の上昇と下降の傾向も的確に捉えた。
• リードタイムと品質の間に非単調な関係が見られた。長めのリードタイムでは、フェイスブックや類似ソースからの高品質な計画済み抗議信号のおかげで、品質が再び向上した。
• 非交差マッチング制約を導入することで、マッチ数は減少したが、ベースライン手法に比べて一貫した性能向上が確認され、システムの頑健性が裏付けられた。
• 12か月間の期間を通じて、EMBERSの品質スコアは2.0をわずかに上回る水準から3.0を超える水準まで上昇し、継続的なシステム学習と適応の兆候が示された。
• ボリュームベースのモデルと動的クエリ拡張モデルは、本研究で最も変動の激しい国であるブラジルにおいて、それぞれ3.11および3.31の最高個別スコアを記録した。