[논문 리뷰] Helping Crisis Responders Find the Informative Needle in the Tweet Haystack

Leon Derczynski, Kenny Meesters외 2명|arXiv (Cornell University)|2018. 01. 29.

Public Relations and Crisis Communication인용 수 7

한 줄 요약

이 논문은 두 단계의 머신러닝 접근 방식을 사용하여 정보성과 조치 가능성에 따라 크리시스 관련 트윗을 자동으로 필터링하는 오픈소스 도구 Emina를 제시한다. 이 도구는 정보성 메시지 식별에서 90% 이상의 정확도를 달성했으며, 여덟 가지 조치 가능성 정보 카테고리에서 50–70%의 리콜을 기록하여 크리시스 대응자들이 노이즈를 크게 줄일 수 있었다.

ABSTRACT

Crisis responders are increasingly using social media, data and other digital sources of information to build a situational understanding of a crisis situation in order to design an effective response. However with the increased availability of such data, the challenge of identifying relevant information from it also increases. This paper presents a successful automatic approach to handling this problem. Messages are filtered for informativeness based on a definition of the concept drawn from prior research and crisis response experts. Informative messages are tagged for actionable data -- for example, people in need, threats to rescue efforts, changes in environment, and so on. In all, eight categories of actionability are identified. The two components -- informativeness and actionability classification -- are packaged together as an openly-available tool called Emina (Emergent Informativeness and Actionability).

연구 동기 및 목표

• 정보 과부하 문제를 해결하기 위해 관련 없는 소셜미디어 콘텐츠를 필터링함으로써 크리시스 대응의 효율성을 높이기 위해.
• 정보성 메시지를 식별할 뿐 아니라, 그 메시지를 조치 가능성 유형(예: 수요, 위협, 인프라 피해 등)으로 분류하는 시스템을 개발하기 위해.
• 크리시스 대응자와 디지털 자원봉사자들이 대량의 소셜미디어 데이터를 효율적으로 처리할 수 있도록 지원하는 오픈소스 도구를 만들기 위해.
• 수요, 위협, 인프라 피해와 같은 운영적 관련성이 있는 메시지를 우선순위로 정렬함으로써 재난 시 상황 인식 능력을 향상시키기 위해.
• 메시지의 관련성과 조치 가능성에 대한 자동화되고 확장 가능한 분류를 통해 실시간으로 크리시스 관련 소셜미디어 스트림을 선별할 수 있도록 하기 위해.

제안 방법

• 전문가의 의견과 이전 연구를 바탕으로 정보성을 정의하고, 정보성을 평가하기 위해 커뮤니티 기반 작업을 통해 메시지에 태그를 부여하였다.
• 정보성 예측을 위해 애너테이션된 데이터를 기반으로 RBF SVM 모델을 훈련하였으며, 최적의 성능을 위해 그리드 서치를 통해 초모델 하이퍼파라미터를 조정하였다.
• 정보성 메시지를 여덟 가지 사전 정의된 조치 가능성 카테고리(예: 수요, 위협, 인프라 등)로 분류하는 별도의 분류 시스템을 개발하였다.
• 기준 비교를 위해 키워드 매칭을 사용하였고, 정보성과 조치 가능성 필터링을 통합된 파이프라인으로 조합하였다.
• 실제 크리시스 데이터셋(예: 앨버타 홍수, 퓨리카 이브라)에 시스템을 적용하여 성능을 평가하고, 조치 가능한 정보의 시간적 프로파일을 시각화하였다.
• 전체 시스템을 Emina라는 오픈소스 도구로 공개하여 크리시스 대응 팀과 연구자들이 활용할 수 있도록 GitHub에 배포하였다.

실험 결과

연구 질문

• RQ1 실시간으로 크리시스 관련 트윗 중 정보성이 있는지 없는지를 효과적으로 구분할 수 있는 머신러닝 모델이 존재하는가?
• RQ2 정보성 메시지를 크리시스 대응에 관련된 특정 조치 가능성 카테고리로 분류하는 시스템의 성능은 어떠한가?
• RQ3 데이터 불균형과 높은 변동성 상황에서 다양한 분류기(예: RBF SVM, 선형 모델)의 성능은 어떠한가?
• RQ4 정보성 필터링과 조치 가능성 분류의 조합이 대응자들에게 제공되는 정보의 질을 어떻게 향상시키는가?
• RQ5 크리시스의 다양한 단계에서 공유되는 조치 가능한 정보의 유형에 대해 어떤 시간적 패턴이 나타나는가?

주요 결과

• RBF SVM 분류기는 정보성 트윗 식별에서 90% 이상의 정확도를 기록하여 다른 모델들과 키워드 매칭 기준보다 뛰어난 성능을 보였다.
• 여덟 가지 별도의 카테고리에서 조치 가능한 메시지의 리콜률이 50%에서 70% 사이로 나타나, 운영적으로 관련성이 있는 콘텐츠를 효과적으로 식별함을 입증하였다.
• C=20 및 gamma=3로 설정한 RBF SVM의 튜닝이 최적의 성능을 내었으며, 이는 이 작업에서 모델의 복잡성과 일반화 능력 사이의 균형이 매우 중요하다는 것을 시사한다.
• 조치 가능한 정보 비율은 시간이 지남에 따라 변동하였으며, 2013년 앨버타 홍수와 같은 크리시스 기간 동안 주요 메시지 유형(예: 수요, 위협)의 변화가 시각화되었다.
• Ushahidi를 통한 상향식 메시지 요청 조차도 일부 크리시스 모니터링 활동에서 최대 90%의 메시지가 관련이 없다는 점이 확인되어, 자동화된 필터링의 필요성을 강조하였다.
• Emina 도구는 정보성과 조치 가능성 분류를 하나의 오픈소스 시스템으로 통합하여 실제 크리시스 상황에서의 배포에 접근 가능하게 하였다.