[논문 리뷰] Clustering of Social Media Messages for Humanitarian Aid Response during Crisis

Swati Padhee, Tanay Kumar Saha외 2명|arXiv (Cornell University)|2020. 07. 23.

Public Relations and Crisis Communication참고 문헌 30인용 수 4

한 줄 요약

이 논문은 크리시스 기간 동안 사회적 미디어 메시지를 자동으로 분류하고 군집화하기 위해 최신 딥러닝 모델, 특히 RoBERTa를 사용하는 것을 제안한다. 주요 분류 작업은 정보성, 수요/공급 의도, UN 클러스터 카테고리(식량, 주거, 보건, WASH)로 나뉜다. 이 방법은 높은 성능을 기록하며, RoBERTa는 정보성 분류에서 F1 점수 89.20%를 기록하고, 의도 및 클러스터 분류에서는 75% 이상의 F1 점수를 달성한다. 이는 문맥 임베딩 기반 모델이 기존 방법보다 뛰어나며, 확장 가능한 자동화된 크리시스 대응 시스템을 지원할 수 있음을 보여준다.

ABSTRACT

Social media has quickly grown into an essential tool for people to communicate and express their needs during crisis events. Prior work in analyzing social media data for crisis management has focused primarily on automatically identifying actionable (or, informative) crisis-related messages. In this work, we show that recent advances in Deep Learning and Natural Language Processing outperform prior approaches for the task of classifying informativeness and encourage the field to adopt them for their research or even deployment. We also extend these methods to two sub-tasks of informativeness and find that the Deep Learning methods are effective here as well.

연구 동기 및 목표

• 현대적인 딥러닝 모델을 활용해 재난 관련 사회적 미디어 메시지의 정보성 자동 식별을 향상시키기.
• 이진 정보성 분류를 넘어 수요/공급 의도 및 인도적 지원 유형(UN 클러스터: 식량, 주거, 보건, WASH)까지 포함한 분류 확장.
• 한 번의 재난(허리케인 도리언)에서 학습한 모델의 일반화 능력을 평가하기.
• 미래의 재난 NLP 연구를 지원하기 위해 재현 가능한 데이터셋과 주석 가이드라인을 제공하기.

제안 방법

• 저자들은 재난 관련 트위터 데이터에 대해 미리 훈련된 RoBERTa 모델을 피지컬 테이닝하여 정보성, 수요/공급 의도, UN 클러스터 카테고리 분류의 세 가지 작업을 수행한다.
• 다중 레이블 분류 프레임워크를 적용하여 한 트윗이 여러 카테고리에 동시에 속할 수 있도록 한다(예: '식량'과 'WASH' 모두 포함).
• 어휘 및 위치 기반 필터링을 통해 허리케인 도리언 기간 동안 수집한 14,073개의 정보성 트윗 데이터셋을 사용해 모델을 피지컬 테이닝한다.
• 문맥 기반 표현의 성능 향상을 평가하기 위해 RoBERTa를 BERT, TF-IDF, 단어 임베딩(GloVe, Word2Vec)과 비교한다.
• 일반화 능력을 테스트하기 위해 도리언에서 학습한 모델을 허리케인 하비, 허리케인 마리아, 스리랑카 홍수 공개 데이터셋에 적용한다.
• 표준 NLP 메트릭을 사용해 모델을 평가한다: 정확도, F1 점수(micro 및 macro), 정밀도/재현율.

실험 결과

연구 질문

• RQ1 RoBERTa와 같은 사전 훈련된 언어 모델이 기존 기계학습 방법에 비해 재난 관련 사회적 미디어 메시지의 분류 성능을 크게 향상시킬 수 있는가?
• RQ2 딥러닝 모델이 수요 대비 공급 의도와 같은 더 세분화된 인도적 지원 의도 카테고리(수요 대비 공급) 및 UN 클러스터 카테고리(식량, 주거, 보건, WASH)를 효과적으로 분류할 수 있는가?
• RQ3 한 재난 이벤트(허리케인 도리언)에서 학습한 모델이 다른 알려지지 않은 재난 이벤트로의 일반화 능력은 어느 정도인가?
• RQ4 재난 NLP 작업에서 문맥 기반 임베딩(RoBERTa 등)이 비문맥 기반 임베딩(GloVe, Word2Vec 등)보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• RoBERTa는 모든 세 가지 작업에서 최고의 성능을 기록했으며, 정보성 분류 작업에서 F1 점수 89.20%를 달성했다.
• 수요 대비 공급 의도 분류에서 RoBERTa는 '수요'에 대해 마이크로-F1 71.98%, '공급'에 대해 75.98%의 성능을 기록했다.
• UN 클러스터 분류 작업에서 RoBERTa는 모든 네 가지 카테고리(식량, 주거, 보건, WASH)에서 가장 높은 정확도와 마이크로-F1 점수를 기록했으며, 트윗의 56.42%가 '식량', 30.1%가 'WASH'로 분류되었다.
• 모델은 8,370건(59.48%)의 트윗을 도움 요청으로, 9,296건(66.1%)을 공급 제공로 예측했으며, 3,593건의 트윗은 둘 다로 레이블링되었다.
• 미사전에 경험한 재난에 대해 테스트한 결과, RoBERTa의 스리랑카 홍수 데이터셋에서 정확도 82.12%를 기록했지만, 허리케인 하비와 마리아에서는 각각 54.30%와 59.85%에 그쳐 제로샷 일반화 능력이 제한적임을 시사했다.
• 한 트윗이 인도적 지원과 관련이 없어 인간 레이블이 '정보성'으로 되어 있더라도, 모델이 정확히 '비정보성'으로 식별한 것은 작업 정의의 타당성을 입증한다.