[논문 리뷰] EMBERS at 4 years: Experiences operating an Open Source Indicators Forecasting System

Sathappan Muthiah, P. J. Butler외 16명|arXiv (Cornell University)|2016. 03. 31.

Data-Driven Disease Surveillance참고 문헌 16인용 수 10

한 줄 요약

EMBERS는 10개의 라틴 아메리카 국가에서 사회적 불안정을 예측하는 24/7 오픈소스 예측 시스템이다. 다양한 데이터 소스, 예를 들어 소셜 미디어, 뉴스, 경제 지표 등을 활용한다. 네 해 동안 지속적으로 운영된 결과, 일반적이고 흔한 사건뿐 아니라 드문 사건에 대해서도 뛰어난 예측 성능를 보였지만, 동시에 예측 지능 시스템의 핵심적 한계와 윤리적 고려사항을 드러냈다.

ABSTRACT

EMBERS is an anticipatory intelligence system forecasting population-level events in multiple countries of Latin America. A deployed system from 2012, EMBERS has been generating alerts 24x7 by ingesting a broad range of data sources including news, blogs, tweets, machine coded events, currency rates, and food prices. In this paper, we describe our experiences operating EMBERS continuously for nearly 4 years, with specific attention to the discoveries it has enabled, correct as well as missed forecasts, and lessons learnt from participating in a forecasting tournament including our perspectives on the limits of forecasting and ethical considerations.

연구 동기 및 목표

• 다양한 국가에서 실시간으로 작동하는 오픈소스 24/7 예측 시스템의 사회적 불안정 사건 예측 성능을 평가하는 것.
• 실시간 경고 및 자동 서사 생성을 통해 지능 분석가들이 EMBERS 예측을 실제로 얼마나 유용하게 활용할 수 있는지 이해하는 것.
• 성공적인 예측 및 놓친 사건을 식별하고 분석하여 데이터, 모델링, 예측 능력 측면에서의 한계를 밝혀내는 것.
• 예측 지능 시스템의 윤리적 함의, 특히 민주적 및 비민주적 거버넌스 환경에서의 영향을 검토하는 것.
• 다양한 데이터 소스, 특히 소셜 미디어의 역할을 제거 실험(ablation studies)를 통해 평가하고, 그것이 예측 정확도에 미치는 영향을 분석하는 것.

제안 방법

• EMBERS는 뉴스, 블로그, 트위터, 기계 기반 이벤트 코드, 환율, 식량 가격 등을 포함한 개방형 소스에서 실시간 데이터를 수신하고 처리한다.
• 이 시스템은 역사를 기반으로 학습된 기계 학습 모델을 사용하여 사회적 불안정의 조기 신호를 탐지하며, 예측 결과는 골드 표준 보고서(GSR)와 비교하여 평가된다.
• 예측은 지속적으로 생성되며, 분석가들에게 경고 및 자동 서사를 통해 전달되어 사용성과 상황 인식 능력을 향상시킨다.
• 제거 실험(ablation study)를 통해 트위터 및 페이스북과 같은 주요 데이터 소스를 예측 파이프라인에서 제거했을 경우의 성능 저하를 평가한다.
• 시스템은 사회적 불안정을 일반적이고 반복적인 사건과 드문 고영향 사건으로 분리하여, 사건 유형에 따라 예측 성능을 평가한다.
• 정량적 지표, 예를 들어 탐지율(hit rates)과 거짓 경고율(false positive rates)을 사용하여 성능을 평가하며, 이는 MITRE에서 인간 분석가들이 작성한 골드 표준 보고서(GSR)를 기준으로 한다.

실험 결과

연구 질문

• RQ1 EMBERS는 라틴 아메리카 10개국의 다양한 언어와 정치적 배경을 가진 국가들에서 실시간으로 사회적 불안정 사건을 얼마나 효과적으로 예측하는가?
• RQ2 트위터, 페이스북 등 소셜 미디어 데이터를 제거했을 경우 EMBERS의 예측 성능에 어떤 영향을 미치는가?
• RQ3 EMBERS의 예측은 인간이 작성한 골드 표준(GSR)과 비교해 정확도, 적시성, 분석가 활용도 측면에서 어떻게 다른가?
• RQ4 기존의 예측 모델이 이슬람국가(ISIS)와 같은 갑작스럽고 극단적인 사회적 불안정 사건을 예측하는 데 있어 근본적인 한계는 무엇인가?
• RQ5 예측 지능 시스템을 도입함으로써 발생하는 윤리적 고려사항은 무엇이며, 그것이 거버넌스와 시민의 자유에 어떤 영향을 미칠 수 있는가?

주요 결과

• EMBERS는 네 해 동안 라틴 아메리카에서 수많은 사회적 불안정 사건을 성공적으로 예측하여, 다양한 국가와 언어에서 일관된 성능을 보였다.
• 일반적이고 반복적인 사건, 예를 들어 시위와 파업에 대해 높은 예측 정확도를 달성했지만, 이슬람국가(ISIS)와 같은 드문 또는 극도로 파괴적인 사건에 대해서는 성능이 저하되었다.
• 제거 실험을 통해 트위터와 페이스북 데이터를 제거했을 경우 예측 성능이 심각하게 악화됨을 확인하여, 소셜 미디어가 조기 신호 탐지에 핵심적인 역할을 한다는 점을 입증했다.
• 강력한 성능에도 불구하고 EMBERS는 몇몇 고영향 사건을 놓쳤으며, 이는 예측 신호가 제한된 갑작스럽고 대규모 이동에 대해 예측하기 어려운 본질적 한계를 보여준다.
• 분석가들은 예측 결과에 자동 서사를 통합한 경우에 가장 유용하다고 평가했으며, 이는 상황 이해도 향상과 의사결정 지원에 기여했다.
• 본 연구는 골드 표준 보고서(GSR)를 수작업으로 제작하는 것이 시스템에서 가장 자원을 많이 소모하는 요소임을 드러내었으며, 이는 자동화 또는 준자동화된 검증 방법의 필요성을 시사한다.