[논문 리뷰] Standardizing and Benchmarking Crisis-related Social Media Datasets for Humanitarian Information Processing

Firoj Alam, Hassan Sajjad외 2명|arXiv (Cornell University)|2020. 04. 14.

Public Relations and Crisis Communication인용 수 12

한 줄 요약

이 논문은 166.1만 개의 트윗을 포함하는 통합 벤치마크로 8개의 위기 관련 소셜미디어 데이터셋을 표준화하여 정보성 분류와 인도적 분류를 위한 평가를 가능하게 한다. 컨볼루션 신경망(CNN)과 BERT 모델을 사용한 기준 성능 결과를 제공하며, 위기 인포매틱스 연구를 촉진하기 위해 통합된 데이터셋을 공개한다.

ABSTRACT

Time-critical analysis of social media streams is important for humanitarian organizations to plan rapid response during disasters. The crisis informatics research community has developed several techniques and systems to process and classify big crisis related data posted on social media. However, due to the dispersed nature of the datasets used in the literature, it is not possible to compare the results and measure the progress made towards better models for crisis informatics. In this work, we attempt to bridge this gap by standardizing various existing crisis-related datasets. We consolidate labels of eight annotated data sources and provide 166.1k and 141.5k tweets for informativeness and humanitarian classification tasks, respectively. The consolidation results in a larger dataset that affords the ability to train more sophisticated models. To that end, we provide baseline results using CNN and BERT models. We make the dataset available at this https URL.

연구 동기 및 목표

• 다양하고 분산된 데이터셋으로 인해 위기 인포매틱스 연구에서 비교 가능성이 부족한 문제를 해결하기 위해.
• 8개의 기존에 주석 처리된 위기 관련 소셜미디어 데이터셋의 레이블을 통합하여 통일된 표준 벤치마크로 정리하기 위해.
• 더 큰 통합 데이터셋을 통해 보다 정교한 모델의 훈련 및 평가를 가능하게 하기 위해.
• CNN 및 BERT와 같은 딥러닝 모델을 사용하여 재현 가능한 기준 성능 결과를 제공하기 위해.

제안 방법

• 8개의 서로 다른 위기 관련 소셜미디어 데이터셋의 레이블을 통합하고 조율하여 주석 체계의 불일치를 해결하기 위해.
• 다양한 데이터셋 간의 레이블을 매핑하고 통합하여 정보성 및 인도적 분류의 두 주요 과제를 위한 일관된 레이블 체계를 구축하기 위해.
• 정보성 분류를 위한 최종 데이터셋 166.1만 개의 트윗과 인도적 분류를 위한 141.5만 개의 트윗을 구성하기 위해.
• 통합된 데이터셋에서 컨volutional 신경망(CNN) 및 양방향 트랜스포머(BERT) 아키텍처를 사용하여 기준 성능 모델을 훈련하고 평가하기 위해.
• 위기 인포매틱스 분야의 재현 가능성과 향후 벤치마크 평가를 지원하기 위해 표준화된 데이터셋을 공개하기 위해.

실험 결과

연구 질문

• RQ1 다양하고 분산된 위기 관련 소셜미디어 데이터셋을 어떻게 표준화하여 일관된 모델 평가를 가능하게 할 수 있는가?
• RQ2 CNN 및 BERT와 같은 딥러닝 모델이 통합된 위기 데이터셋에서 어떤 성능을 보이는가?
• RQ3 데이터셋 통합이 위기 인포매틱스 분야에서 모델 훈련 및 평가에 얼마나 기여하는가?
• RQ4 스케일과 레이블 일관성 측면에서 통합 벤치마크는 개별 데이터셋과 어떻게 비교되는가?

주요 결과

• 통합된 데이터셋은 정보성 분류 과제에 대해 166.1만 개의 트윗을, 인도적 분류 과제에 대해 141.5만 개의 트윗을 포함한다.
• 향후 연구의 기준점이 되기 위해 통합된 데이터셋에서 CNN 및 BERT 모델을 사용한 기준 성능 결과가 확립되었다.
• 표준화된 데이터셋을 통해 다양한 위기 인포매틱스 과제 간의 모델 성능을 직접 비교할 수 있게 되었다.
• 데이터셋의 공개는 재현 가능성을 촉진하고 인도적 정보 처리 분야의 진전을 가속화한다.