[論文レビュー] Event Prediction in the Big Data Era: A Systematic Survey

Liang Zhao|arXiv (Cornell University)|Jul 19, 2020

Big Data and Business Intelligence被引用数 14

ひとこと要約

本稿は、ビッグデータ時代におけるイベント予測について、包括的な体系的調査を提示し、多様な分野における技術、応用、評価手法を統合的に検討している。イベント予測手法の統一的分類法を提唱し、多面的出力や複雑な依存関係といった課題を強調するとともに、多目的最適化や反事実分析を含む今後の重要な研究方向性を同定している。

ABSTRACT

Events are occurrences in specific locations, time, and semantics that nontrivially impact either our society or the nature, such as civil unrest, system failures, and epidemics. It is highly desirable to be able to anticipate the occurrence of such events in advance in order to reduce the potential social upheaval and damage caused. Event prediction, which has traditionally been prohibitively challenging, is now becoming a viable option in the big data era and is thus experiencing rapid growth. There is a large amount of existing work that focuses on addressing the challenges involved, including heterogeneous multi-faceted outputs, complex dependencies, and streaming data feeds. Most existing event prediction methods were initially designed to deal with specific application domains, though the techniques and evaluation procedures utilized are usually generalizable across different domains. However, it is imperative yet difficult to cross-reference the techniques across different domains, given the absence of a comprehensive literature survey for event prediction. This paper aims to provide a systematic and comprehensive survey of the technologies, applications, and evaluations of event prediction in the big data era. First, systematic categorization and summary of existing techniques are presented, which facilitate domain experts' searches for suitable techniques and help model developers consolidate their research at the frontiers. Then, comprehensive categorization and summary of major application domains are provided. Evaluation metrics and procedures are summarized and standardized to unify the understanding of model performance among stakeholders, model developers, and domain experts in various application domains. Finally, open problems and future directions for this promising and important domain are elucidated and discussed.

研究の動機と目的

• 学際的分野にわたるイベント予測の包括的文献サーベイの不足に対処すること。
• 問題定義と手法に基づいて、既存のイベント予測技術を体系化・分類すること。
• モデル開発者や分野専門家が参考にできる、主要な応用分野の階層的分類を提供すること。
• 多様な応用にわたる性能評価を統一するため、評価指標と手順の標準化を図ること。
• AIおよびビッグデータ分野におけるイベント予測の発展に向けた、未解決の問題と今後の研究方向性を同定すること。

提案手法

• 予測対象のイベント要因の種別（時刻、場所、意味的要因）と使用される手法に基づいて、イベント予測技術の体系的分類を提唱する。
• ハイブリッドモデル、データ駆動型モデル、因果モデルに分類し、それぞれの強みと限界を強調する。
• 機械学習、データマイニング、自然言語処理、統計、パターン認識の技術を統合的フレームワークに統合する。
• 時刻、場所、トピック、強度、継続時間の共同モデリングを含む、多面的予測の課題を分析する。
• データ駆動型モデルの強靭性と一般化能力を向上させるために、因果的原則のより深い統合の必要性を提言する。
• 意思決定支援のための行動的判断を可能にするために、多目的最適化および反事実／指示的分析の推進を提唱する。

実験結果

リサーチクエスチョン

• RQ1 異なる分野にわたるイベント予測技術を、どのように体系的に分類・比較できるか？
• RQ2 時刻、場所、トピック、強度といった異種の多面的出力（例：イベント）を予測する際の主な課題は何か？
• RQ3 イベント同士の複雑な依存関係（例：連鎖的影響）を予測システムで効果的にモデル化するにはどうすればよいか？
• RQ4 多様なイベント予測応用にわたる、最も適切で標準化された評価指標と手順は何か？
• RQ5 特に多目的および指示的設定において、イベント予測の発展に向けた今後の研究方向性として最も重要であるのは何か？

主な発見

• 200件以上の最新のイベント予測関連論文が分析され、ビッグデータとAIの進展に伴い、分野の急速な成長が明らかになった。
• イベント予測は依然として多目的問題であり、正確性、事前予測期間、解像度、信頼性、効率性の間でトレードオフが生じる。
• 現在のモデルは、因果的原則をデータ駆動型学習と深く統合するのではなく、予測結果を統合するアンサンブル手法に多く依存している。
• 予測と指示的分析の両方を支援できる汎用的かつ分野横断的なフレームワークの強力なニーズが存在する。
• 反事実的および指示的分析はまだ未発達であるが、公衆衛生や災害管理分野における能動的意思決定を可能にするために不可欠である。
• ノイズ混在または汚染されたアノテーション下でも、ラベル品質と耐性の維持は、多面的イベント予測における重要な課題のままである。