[論文レビュー] EMBERS at 4 years: Experiences operating an Open Source Indicators Forecasting System

Sathappan Muthiah, P. J. Butler+16 more|arXiv (Cornell University)|Mar 31, 2016

Data-Driven Disease Surveillance参考文献 16被引用数 10

ひとこと要約

EMBERSは、10か国にわたるラテンアメリカ諸国における市民の反乱を、ソーシャルメディア、ニュース、経済指標などの多様なデータソースを用いて予測する24時間365日稼働のオープンソース予測システムである。4年間にわたる継続的な運用の結果、通常のイベントおよびレアイベントの両方において優れた予測性能を示したが、予測知能システムにおける重要な制限要因と倫理的配慮も明らかになった。

ABSTRACT

EMBERS is an anticipatory intelligence system forecasting population-level events in multiple countries of Latin America. A deployed system from 2012, EMBERS has been generating alerts 24x7 by ingesting a broad range of data sources including news, blogs, tweets, machine coded events, currency rates, and food prices. In this paper, we describe our experiences operating EMBERS continuously for nearly 4 years, with specific attention to the discoveries it has enabled, correct as well as missed forecasts, and lessons learnt from participating in a forecasting tournament including our perspectives on the limits of forecasting and ethical considerations.

研究の動機と目的

• 複数の国における市民の反乱イベントのリアルタイム予測性能を、オープンソースで24時間365日稼働する予測システムとして評価すること。
• リアルタイムのアラート配信と自動生成ナラティブを通じて、知的分析官がEMBERSの予測にどれほど実用的価値を見出すかを理解すること。
• 成功した予測と見逃されたイベントを特定・分析し、データ、モデリング、予測能力における制限要因を解明すること。
• 予測知能システムの倫理的含意、特に民主的および非民主的統治文脈における影響を検討すること。
• アブレーションスタディを通じて、多様なデータソース（特にソーシャルメディア）の役割を評価し、予測精度に与える影響を明らかにすること。

提案手法

• EMBERSは、ニュース、ブログ、Twitter、機械コード化済みイベント、為替レート、食料価格などのオープンソースからリアルタイムでデータを受信・処理する。
• 歴史的データに基づいてトレーニングされた機械学習モデルを用いて、市民の反乱の兆候を早期に検出する。予測のスコアはゴールドスタンダードレポート（GSR）と照合される。
• 予測は継続的に行われ、アナリストにアラートと自動生成ナラティブを通じて提供され、利用可能性と状況認識の向上が図られる。
• アブレーションスタディでは、予測パイプラインからTwitter や Facebook などの主要データソースを除外した場合の性能低下を評価する。
• 市民の反乱を、定期的・繰り返し発生するイベントと、まれで大規模な影響を及ぼすイベントに分けて、イベントタイプごとの予測性能を評価する。
• 定量的指標（ヒット率、偽陽性率など）を用いて、MITREのアナリストが作成するGSRと照合して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 EMBERSは、言語や政治的文脈が多様な10か国のラテンアメリカ諸国において、市民の反乱イベントをリアルタイムでどれほど効果的に予測できるか？
• RQ2 ソーシャルメディアデータ（例：Twitter、Facebook）を除外した場合、EMBERSの予測性能にどのような影響が生じるか？
• RQ3 EMBERSの予測は、人間が作成するゴールドスタンダード（GSR）と比較して、正確性、迅速性、アナリストへの実用的価値においてどの程度優れているか？
• RQ4 現在の予測モデルが、ISISの台頭のような稀で急激な市民の反乱を予測する際に直面する主な制限要因は何か？
• RQ5 予測知能システムを導入することによって生じる倫理的配慮とは何か。また、それらは統治と市民の自由にどのように影響を及ぼす可能性があるか？

主な発見

• EMBERSは4年間にわたり、ラテンアメリカ諸国で多数の市民の反乱イベントを成功裏に予測し、複数の国と言語で一貫した性能を示した。
• 抗議やストライキなどの定期的・繰り返し発生するイベントについては顕著な予測精度を達成したが、ISISの台頭のような稀で大規模なイベントについては性能が低下した。
• アブレーションスタディの結果、Twitter や Facebook のデータを除外すると予測性能が著しく低下し、早期の兆候検出においてソーシャルメディアの重要性が浮き彫りになった。
• 強力な性能を発揮したにもかかわらず、EMBERSはいくつかの高影響イベントを見逃しており、予測可能な前触れが限られている突然の大規模な運動を予測する際の根本的な制限が浮き彫りになった。
• アナリストは、アラートを文脈的に説明する自動生成ナラティブと組み合わせたEMBERSの予測が最も価値があると評価し、状況理解と意思決定の質が向上した。
• 本研究では、システムで最もリソースを消費している部分が依然としてゴールドスタンダードレポート（GSR）の手作業による作成であることが判明し、自動またはセミ自動の検証手法の導入が求められていることが示された。