[논문 리뷰] Event Prediction in the Big Data Era: A Systematic Survey

Liang Zhao|arXiv (Cornell University)|2020. 07. 19.

Big Data and Business Intelligence인용 수 14

한 줄 요약

이 논문은 빅데이터 시대의 이벤트 예측에 대한 체계적인 종합 조사를 제시하며, 다양한 분야에서 기술, 응용 분야, 평가 방법을 통합한다. 이는 이벤트 예측 방법에 대한 통합된 분류 체계를 제안하고, 다면적 출력과 복잡한 종속성과 같은 과제를 강조하며, 다목적 최적화 및 반사적 분석과 같은 향후 주요 방향을 규명한다.

ABSTRACT

Events are occurrences in specific locations, time, and semantics that nontrivially impact either our society or the nature, such as civil unrest, system failures, and epidemics. It is highly desirable to be able to anticipate the occurrence of such events in advance in order to reduce the potential social upheaval and damage caused. Event prediction, which has traditionally been prohibitively challenging, is now becoming a viable option in the big data era and is thus experiencing rapid growth. There is a large amount of existing work that focuses on addressing the challenges involved, including heterogeneous multi-faceted outputs, complex dependencies, and streaming data feeds. Most existing event prediction methods were initially designed to deal with specific application domains, though the techniques and evaluation procedures utilized are usually generalizable across different domains. However, it is imperative yet difficult to cross-reference the techniques across different domains, given the absence of a comprehensive literature survey for event prediction. This paper aims to provide a systematic and comprehensive survey of the technologies, applications, and evaluations of event prediction in the big data era. First, systematic categorization and summary of existing techniques are presented, which facilitate domain experts' searches for suitable techniques and help model developers consolidate their research at the frontiers. Then, comprehensive categorization and summary of major application domains are provided. Evaluation metrics and procedures are summarized and standardized to unify the understanding of model performance among stakeholders, model developers, and domain experts in various application domains. Finally, open problems and future directions for this promising and important domain are elucidated and discussed.

연구 동기 및 목표

• 다양한 분야에 걸쳐 이벤트 예측에 대한 종합적인 문헌 조사가 부족한 데 대비하기 위해.
• 문제 정의 및 방법론에 기반해 기존의 이벤트 예측 기법을 체계화하고 분류하기 위해.
• 모델 개발자와 도메인 전문가가 안내받을 수 있도록 주요 응용 분야를 계층적으로 분류하기 위해.
• 다양한 응용 분야 간 성능 평가를 통일하기 위해 평가 지표와 절차를 표준화하기 위해.
• 인공지능 및 빅데이터 분야에서 이벤트 예측을 발전시키기 위한 열린 문제와 향후 연구 방향을 규명하기 위해.

제안 방법

• 예측하는 이벤트 요소의 유형(시간, 위치, 의미)과 사용된 방법론에 기반해 이벤트 예측 기법에 대한 체계적인 분류 체계를 제안한다.
• 하이브리드, 데이터 중심, 인과 모델로 분류하며, 각각의 강점과 한계를 강조한다.
• 기계 학습, 데이터 마이닝, NLP, 통계, 패턴 인식 기법을 통합된 프레임워크에 통합한다.
• 시간, 위치, 주제, 강도, 지속 시간을 함께 모델링하는 다면적 예측 과제를 분석한다.
• 데이터 기반 모델의 강건성과 일반화 능력을 향상시키기 위해 인과 원리를 더 깊이 통합할 필요가 있음을 제안한다.
• 실질적인 의사결정 지원을 위해 다목적 최적화 및 반사적/예측 분석을 권장한다.

실험 결과

연구 질문

• RQ1 다양한 도메인 간 이벤트 예측 기법은 어떻게 체계적으로 분류하고 비교할 수 있는가?
• RQ2 시간, 위치, 주제, 강도와 같은 이질적이고 다면적인 이벤트 출력을 예측할 때의 주요 과제는 무엇인가?
• RQ3 예를 들어 연쇄 효과와 같은 이벤트 간 복잡한 종속성을 예측 시스템에서 효과적으로 모델링할 수 있는가?
• RQ4 다양한 이벤트 예측 응용 분야에 걸쳐 가장 적절하고 표준화된 평가 지표와 절차는 무엇인가?
• RQ5 특히 다목적 및 예측 설정에서 이벤트 예측을 발전시키기 위해 가장 중요한 향후 연구 방향은 무엇인가?

주요 결과

• 최근 200여 편 이상의 논문을 분석한 결과, 빅데이터와 인공지능 기술의 발전으로 인해 이 분야의 급격한 성장이 확인되었다.
• 이벤트 예측은 여전히 다목적 문제이며, 정확도, 사전 예측 시간, 해상도, 신뢰도, 효율성 간의 상충 관계가 존재한다.
• 현재 모델들은 인과 원리를 데이터 기반 학습과 깊이 통합하기보다는 예측을 융합하는 앙상블 방법에 주로 의존한다.
• 예측과 예측 분석을 모두 지원할 수 있는 일반적이고 도메인 간 적용 가능한 프레임워크가 강력히 필요하다.
• 반사적 및 예측 분석는 아직 개발이 부족하지만, 공중보건 및 재난 관리와 같은 분야에서 능동적인 의사결정을 가능하게 하기 위해 필수적이다.
• 노이즈가 많거나 손상된 레이블의 품질과 강건성은 다면적 이벤트 예측에서 여전히 핵심 과제이다.