[논문 리뷰] "Breaking" Disasters: Predicting and Characterizing the Global News Value of Natural and Man-made Disasters

Armineh Nourbakhsh, Quanzhi Li외 2명|arXiv (Cornell University)|2017. 09. 07.

Public Relations and Crisis Communication인용 수 6

한 줄 요약

이 논문은 트위터에서 보고된 지역 재난이 24시간 이내에 글로벌 미디어의 주목을 받을지를 예측하는 기계학습 모델을 제안한다. 주요 특징으로는 주제, 범위, 영향, 위치 등이 포함되며, 모든 특징을 사용할 경우 F1 스코어가 83.24%에 도달하여 주제와 국가 코드가 글로벌 뉴스 가치의 가장 강력한 예측 요소임을 입증한다.

ABSTRACT

Due to their often unexpected nature, natural and man-made disasters are difficult to monitor and detect for journalists and disaster management response teams. Journalists are increasingly relying on signals from social media to detect such stories in their early stage of development. Twitter, which features a vast network of local news outlets, is a major source of early signal for disaster detection. Journalists who work for global desks often follow these sources via Twitter's lists, but have to comb through thousands of small-scale or low-impact stories to find events that may be globally relevant. These are events that have a large scope, high impact, or potential geo-political relevance. We propose a model for automatically identifying events from local news sources that may break on a global scale within the next 24 hours. The results are promising and can be used in a predictive setting to help journalists manage their sources more effectively, or in a descriptive manner to analyze media coverage of disasters. Through the feature evaluation process, we also address the question: "what makes a disaster event newsworthy on a global scale?" As part of our data collection process, we have created a list of local sources of disaster/accident news on Twitter, which we have made publicly available.

연구 동기 및 목표

• 지역 재난 보도가 24시간 이내에 글로벌 미디어에서 다뤄질 가능성이 있는지를 식별하는 예측 모델을 개발하는 것.
• 자연재해 및 인명재해의 글로벌 뉴스 가치를 결정짓는 특징을 규명하는 것.
• 높은 영향력을 지닌 지역 뉴스를 우선순위로 삼을 수 있도록 기자들이 빠른 시기에 돌발 글로벌 뉴스를 탐지할 수 있도록 자동화된 조기 탐지 시스템을 지원하는 것.
• 미디어 편향과 보도 패턴을 분석하기 위해 글로벌 미디어 주목을 이끄는 뉴스 특성의 원인을 규명하는 것.
• 연구 및 응용 용도로 사용 가능한 트위터 내 지역 재난 뉴스 소스를 정제하여 공개하는 것.

제안 방법

• 재난 보도 트윗에서 추출한 특징을 기반으로 훈련된 서포트 벡터 머신(SVM) 분류기 사용.
• 특징으로는 주제(예: 테러, 지진), 범위(예: 영향을 받은 사람 수), 영향(예: 사망자 수, 인프라 피해), 희귀성, 위치(국가 코드) 포함.
• 텍스트 특징은 명명된 실체 인식 및 어휘 분석을 통해 유도되며, 심각도를 나타내는 형용사(예: '치명적') 포함.
• 18개의 검증된 재난 사건 데이터셋을 기반으로 모델을 훈련 및 평가하며, 기준값은 레이터스 뉴스 알림에서 제공.
• 특징 중요도는 모델 가중치를 통해 평가하고, 시의성은 2017년 7월 실시간 피드를 활용해 테스트.
• 편향을 방지하고 예측 대상과의 독립성을 확보하기 위해 이전 미디어 노출에 의존하지 않음.

실험 결과

연구 질문

• RQ1 재난 사건의 어떤 특징이 24시간 이내 글로벌 미디어 보도를 가장 강하게 예측하는가?
• RQ2 지역 재난 보도가 트위터에 올라오는 시점과 글로벌 미디어 보도 시점 간의 시간 차이(리드 타임)는 어떻게 되는가?
• RQ3 영향력, 범위, 위치가 글로벌 보도 가능성에 얼마나 큰 영향을 미치는가?
• RQ4 왜 일부 높은 영향력을 지닌 사건들은 지역 보도가 있음에도 불구하고 글로벌 주목을 받지 못하는가?
• RQ5 이전 미디어 노출 없이 지역 소셜 미디어 신호만으로도 글로벌 뉴스 가치를 신뢰성 있게 예측할 수 있는가?

주요 결과

• 모든 특징을 사용한 결과 F1 스코어가 83.24%에 도달하여 글로벌 뉴스 가치 예측에 뛰어난 성능을 보였다.
• 주제와 국가 코드가 가장 영향력 있는 특징이었으며, 특히 글로벌 보도된 사례(매칭 클래스)에 대해 주제가 가장 큰 기여를 하였다.
• 인간적 피해가 비매칭(글로벌 보도되지 않은) 사례의 예측에 더 강력한 예측 요소였으며, 이는 초기 단계 트윗에서 보도가 지연되기 때문일 것이다.
• 모델는 레이터스를 능가하는 시의성 확보를 보였으며, 평균 27분의 리드 타임을 확보하고, 44%의 경우 레이터스를 앞서는 성과 기록.
• 희귀성은 제한된 예측 능력을 지녔으며, 이는 일반적으로 충돌 관련 이벤트조차도 글로벌 미디어가 일관되게 보도하기 때문일 수 있다.
• 이전 미디어 노출에 의존하지 않는 모델의 독립성 덕분에 기자 워크플로우 지원, 편향 분석, 매체별 모델링 등 다양한 용도로 활용 가능.