[論文レビュー] Modeling Precursors for Event Forecasting via Nested Multi-Instance Learning

Yue Ning, Sathappan Muthiah+2 more|arXiv (Cornell University)|Feb 25, 2016

Time Series Analysis and Forecasting参考文献 25被引用数 5

ひとこと要約

本稿では、日次ニュース記事をネスト型のインスタンスの袋（bag）としてモデル化することで、社会的抗議行動を予測し、その兆候を特定するためのネスト型マルチインスタンス学習（nMIL）フレームワークを提案する。これにより、最大5日間のリードタイムを有する予測的兆候の確率的検出が可能となる。この手法は、ベースラインのMILモデルに比べ、予測精度および兆候の関連性において優れている。特に、ラテンアメリカ諸国における複数の側面にわたる、時間的変化を伴う兆候の同定において顕著な成果を上げている。

ABSTRACT

Forecasting events like civil unrest movements, disease outbreaks, financial market movements and government elections from open source indicators such as news feeds and social media streams is an important and challenging problem. From the perspective of human analysts and policy makers, forecasting algorithms need to provide supporting evidence and identify the causes related to the event of interest. We develop a novel multiple instance learning based approach that jointly tackles the problem of identifying evidence-based precursors and forecasts events into the future. Specifically, given a collection of streaming news articles from multiple sources we develop a nested multiple instance learning approach to forecast significant societal events across three countries in Latin America. Our algorithm is able to identify news articles considered as precursors for a protest. Our empirical evaluation shows the strengths of our proposed approaches in filtering candidate precursors, forecasting the occurrence of events with a lead time and predicting the characteristics of different events in comparison to several other formulations. We demonstrate through case studies the effectiveness of our proposed model in filtering the candidate precursors for inspection by a human analyst.

研究の動機と目的

• 抗議行動のような社会的出来事の根拠に基づく兆候を同定する手法を開発し、解釈可能な予測を可能にすること。
• 個々のニュース記事にインスタンスレベルのラベルが存在しない状況下で、グループレベルのラベル（例：抗議の発生）のみを用いて、リードタイムを有する出来事の予測に挑戦すること。
• 日次ニュース記事間の時間的依存関係をモデル化するため、二段階のネスト型MIL構造を導入すること。
• 予測対象の出来事の集団（例：政府、賃金、エネルギー）を含む、多クラス分類へのフレームワークの拡張。
• アルゼンチン、ブラジル、メキシコの実世界ニュースデータを用いて、モデルの性能を評価し、予測精度と兆候の解釈可能性の両面で実証すること。

提案手法

• ニュースデータを二段階のネスト型MILフレームワークに構造化：日次ニュース記事が第1段階の「袋（bag）」を形成し、複数日の袋が第2段階の「スーパー袋（super-bag）」を形成する。
• インスタンスレベルのラベルが存在しない状況下でも、個々のニュース記事が兆候である可能性を推定するための確率的スコアリング機構を採用する。
• 時間的整合性を促進するため、順序付けられた日次検出に適したペナルティ関数と正則化を導入することで、時間的制約を強制する。
• インスタンスレベルと袋レベルの予測のバランスを取るために、重みパラメータβを用いたスーパー袋損失関数を採用する。
• モデルの感度と一般化性能を制御するため、ハングル損失の閾値m₀と正則化パラメータλを用いる。
• 時間的滑らかさを最適化するネスト型MIL目的関数を、確率的勾配降下法を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 ネスト型マルチインスタンス学習フレームワークは、グループレベルの出来事ラベルのみで、ラベルなしのニュース記事から社会的抗議行動の兆候を効果的に同定できるか？
• RQ2 オープンソースのニュースデータのみを用いて、抗議出来事のリードタイムを有する予測はどの程度正確に可能か？
• RQ3 時間的制約を組み込むことで、兆候検出および予測精度はどの程度向上するか？
• RQ4 本モデルは、複数の地理的場所および出来事カテゴリ（例：政府、賃金、エネルギー）に一般化可能か？
• RQ5 βおよびλといったハイパーパrameterの選択に対して、モデルの頑健性はどの程度か？

主な発見

• アルゼンチンにおけるnMILモデルは、出来事の集団予測において重み付き平均F1スコア0.524を達成し、rMIL avgベースラインより10.5%優れている。
• メキシコでは、nMILモデルが重み付き平均F1スコア0.575を達成し、rMIL avgベースラインより10.6%の改善を示した。
• モデルは、アルゼンチンおよびメキシコにおける抗議の兆候ストーリーを効果的に検出できた。例えば、貧困の増加や43人の行方不明学生の事例など、出来事の10日前までに一貫した確率的シグナルが観察された。
• 感度分析の結果、βおよびλの値が変化してもテスト精度が安定しており、ハイパーパrameter設定に対して頑健であることが示された。
• 事例研究では、モデルが候補となる兆候を効果的にフィルタリングし、経済的不満や司法判断の変化といった、多面的かつ時間的変化を伴う要因を主な兆候として特定した。
• ネスト型MILフレームワークは、標準MILおよびベースラインモデルと比較して、予測性能および兆候の解釈可能性の両面で顕著な向上を示した。