[논문 리뷰] Tweets Under the Rubble: Detection of Messages Calling for Help in Earthquake Disaster

Çağrı Toraman, Izzet Emre Kucukkaya외 2명|arXiv (Cornell University)|2023. 02. 26.

Public Relations and Crisis Communication인용 수 9

한 줄 요약

이 논문은 2023년 터키-시리아 지진 동안 Twitter 데이터를 수집하고, 도움 요청 트윗을 분류하며, 엔티티 태그를 추출하고 재난 대응을 위한 위치를 매핑하는 대화형 도구를 개발했으며, 분류에서 최대 98.30 F1, 엔티티 태깅에서 84.32 F1을 달성했다.

ABSTRACT

The importance of social media is again exposed in the recent tragedy of the 2023 Turkey and Syria earthquake. Many victims who were trapped under the rubble called for help by posting messages in Twitter. We present an interactive tool to provide situational awareness for missing and trapped people, and disaster relief for rescue and donation efforts. The system (i) collects tweets, (ii) classifies the ones calling for help, (iii) extracts important entity tags, and (iv) visualizes them in an interactive map screen. Our initial experiments show that the performance in terms of the F1 score is up to 98.30 for tweet classification, and 84.32 for entity extraction. The demonstration, dataset, and other related files can be accessed at https://github.com/avaapm/deprem

연구 동기 및 목표

• 소셜 미디어 신호를 통해 지진 재난 상황 인식을 촉진한다.
• Twitter API에서 지진 및 도움 관련 키워드를 포함한 관련 트윗을 수집한다.
• 긴급 구조 또는 구호를 요청하는 트윗을 식별하기 위해 트윗을 분류한다.
• 도움 요청에서 명명된 엔티티 태그(PER, CITY, ADDR, STATUS)를 추출한다.
• 구조 및 기부 노력을 지원하기 위해 인터랙티브 맵에 결과를 시각화한다.

제안 방법

• 지진 직후 처음 12시간 동안 Twitter API를 통해 두 개의 키워드 세트를 사용해 트윗을 수집한다.
• 이진 트윗 분류를 위해 TF-IDF + SVM, Turkish BERTurk, 다국어 mDeBERTa를 학습 및 비교한다.
• 분류를 위해 단일언어 및 다국어 트랜스포머를 미세조정하고 배치를 위한 최적의 모델을 선택한다.
• PER, CITY, ADDR, STATUS 엔터티 태깅에 대해 손으로 제작한 특징을 가진 CRF를 적용하고 ConvBERTurk 및 mDeBERTa와 비교한다.
• 도시 목록과 Damerau–Levenshtein 거리 등을 사용해 주소 및 도시 엔터티를 후처리하여 위치를 정제한다.
• Google Maps API를 통해 주소를 지리좌표화하고 Leaflet/Google Maps GUI에서 결과를 시각화한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델이 지진 재해에서 긴급 도움이 필요한 트윗을 얼마나 효과적으로 분류할 수 있는가?
• RQ2 도움 요청을 위치 확인하고 이해하는 데 가장 신뢰할 수 있는 엔터티 태그는 무엇인가( PER, CITY, ADDR, STATUS )?
• RQ3 엔드-투-엔드 시스템이 긴급 호출 트윗을 지리좌표화된 재난 대응 조치와 매핑할 수 있는가?
• RQ4 이 도메인에서 제안된 접근 방식이 전통적인 NLP 벤치마크에 비해 어떤 성능을 보이는가?

주요 결과

• 트랜스포머 기반 모델이 트윗 분류에서 TF-IDF + SVM을 능가하며, BERTurk가 98.30 F1, mDeBERTa가 98.05 F1을 달성했다.
• 엔터티 태깅에서, mDeBERTa가 ADDR, CITY, PER, STATUS에 걸쳐 평균 F1 점수 84.32로 가장 높다.
• CRF는 Transformer 기반 태거에 비해 성능이 떨어진다(평균 70.67 vs 84.32).
• 지오로케이션 시뮬레이션은 1k개의 트윗에서 407개의 위치 좌표를 산출했고, 누락 16건(약 4%)이다.
• 시스템은 데이터 수집에서 약 1,824,000개의 트윗을 수집하고 훈련용으로 1,000개의 트윗에 주석을 달았다.