[논문 리뷰] HumAID: Human-Annotated Disaster Incidents Data from Twitter

Firoj Alam, Umair Qazi외 2명|arXiv (Cornell University)|2021. 04. 07.

Public Relations and Crisis Communication인용 수 6

한 줄 요약

이 논문은 2016~2019년 동안 19개의 재해 사건에서 유래한 약 77,000개의 트윗을 포함하는 대규모이고 인간이 레이블을 붙인 데이터셋인 HumAID를 소개한다. 이 데이터셋은 약 2,400만 개의 트윗에서 샘플링되었으며, 재해 대응을 위한 고급 자연어 처리를 지원하기 위해 제작되었다. 저자들은 인간 레이블링을 위한 체계적인 데이터 수집 및 샘플링 파이프라인을 제안하고, fastText 및 트랜스포머 기반 모델을 사용한 다중 분류 평가를 수행하여 향후 연구를 위한 벤치마크를 수립하였다. 공개 자원을 제공한다.

ABSTRACT

Social networks are widely used for information consumption and dissemination, especially during time-critical events such as natural disasters. Despite its significantly large volume, social media content is often too noisy for direct use in any application. Therefore, it is important to filter, categorize, and concisely summarize the available content to facilitate effective consumption and decision-making. To address such issues automatic classification systems have been developed using supervised modeling approaches, thanks to the earlier efforts on creating labeled datasets. However, existing datasets are limited in different aspects (e.g., size, contains duplicates) and less suitable to support more advanced and data-hungry deep learning models. In this paper, we present a new large-scale dataset with ~77K human-labeled tweets, sampled from a pool of ~24 million tweets across 19 disaster events that happened between 2016 and 2019. Moreover, we propose a data collection and sampling pipeline, which is important for social media data sampling for human annotation. We report multiclass classification results using classic and deep learning (fastText and transformer) based models to set the ground for future studies. The dataset and associated resources are publicly available.\url{this https URL}

연구 동기 및 목표

• 기존의 재해 관련 트윗 데이터셋이 일반적으로 크기가 작거나 중복되거나 딥러닝에 적합하지 않은 점을 해결하기 위해.
• 인간 레이블링을 위한 사회적 미디어 데이터 수집 및 샘플링에 대해 확장 가능하고 체계적인 파이프라인을 개발하기 위해.
• 딥러닝 모델을 사용한 고급 다중 분류를 지원할 수 있는 고품질의 대규모 데이터셋을 구축하기 위해.
• 새로운 데이터셋에서 최신 모델을 평가하여 향후 재해 NLP 분야의 연구를 위한 기준을 마련하기 위해.

제안 방법

• 2016년에서 2019년 사이의 19개의 주요 재해 사건과 관련된 트윗을 약 2,400만 개의 트윗에서 추출하기 위한 체계적인 데이터 수집 파이프라인을 설계하였다.
• 클래스 균형과 대표성을 확보하기 위해 샘플링 전략을 적용하여 중복을 줄이고 다양한 재해 유형 간의 다양성을 유지하였다.
• 인간 레이블러가 각 트윗을 사전 정의된 재해 관련 카테고리로 레이블링하여 약 77,000건의 완전히 레이블링된 트윗을 확보하였다.
• 데이터셋을 사용하여 다중 분류 작업을 위한 기존 모델(fastText)과 딥러닝 모델(트랜스포머 기반)을 훈련 및 평가하였다.
• 레이블러 간 일관성과 신뢰성을 확보하기 위해 레이블링 과정에 품질 관리 조치를 포함시켰다.
• 최종적으로 데이터셋과 관련된 코드를 공개하여 재현 가능성과 향후 연구를 지원하였다.

실험 결과

연구 질문

• RQ1 최신 딥러닝 모델, 예를 들어 트랜스포머 모델은 기존의 모델인 fastText에 비해 재해 관련 트윗 분류에서 얼마나 효과적인가?
• RQ2 확장 가능하고 체계적인 데이터 샘플링 파이프라인이 인간 레이블링을 위한 고품질의 대표성 있는 학습 데이터를 생성할 수 있는가?
• RQ3 대규모, 다양한, 인간이 레이블링한 재해 트윗 데이터셋에서 다중 분류 모델의 성능은 어떠한가?
• RQ4 크기, 다양성, 딥러닝 모델 훈련에 적합성 측면에서 제안된 데이터셋은 기존 데이터셋과 비교해 어떤가?

주요 결과

• HumAID 데이터셋은 19개의 고유한 재해 사건에서 유래한 약 77,000건의 인간 레이블링 트윗을 포함하며, 이는 이전 데이터셋에 비해 규모 면에서 상당한 향상이다.
• 제안된 데이터 수집 및 샘플링 파이프라인이 데이터의 중복을 효과적으로 줄였고, 클래스의 다양성과 대표성을 유지하였다.
• 트랜스포머 기반 모델이 다중 분류 작업에서 fastText를 뛰어넘는 성능을 보이며, 고급 모델 훈련에 있어 데이터셋의 가치를 입증하였다.
• 규모, 다양성, 고품질의 레이블링 덕분에 이 데이터셋은 재해 대응 시나리오에서 자연어 처리 모델의 보다 견고한 평가를 가능하게 한다.
• 공개된 데이터셋과 관련 자원은 향후 재해 NLP 및 실시간 정보 처리 분야의 연구 기반을 마련한다.