[논문 리뷰] On Identifying Disaster-Related Tweets: Matching-based or Learning-based?

Hien To, Sumeet Agrawal외 2명|arXiv (Cornell University)|2017. 05. 04.

Public Relations and Crisis Communication참고 문헌 27인용 수 9

한 줄 요약

이 논문은 핵심 키워드와 공동으로 활용된 키워드 정제를 통해 키워드 및 해시태그 매칭을 확장함으로써 재해 관련 트윗을 식별하는 개선된 매칭 기반 접근법을 제안한다. 이는 학습 기반 방법보다 더 높은 품질과 해석 가능성 있는 결과를 달성한다. 11개의 재해 데이터셋에서 매칭 기반 방법은 학습 기반 기법보다 재난 기간의 정점에서 시의적절하고 관련성 있는 메시지를 더 잘 포착하여 재난 기간 동안의 재난 감정 분석 품질과 재현율에서 뛰어난 성능을 보였다.

ABSTRACT

Social media such as tweets are emerging as platforms contributing to situational awareness during disasters. Information shared on Twitter by both affected population (e.g., requesting assistance, warning) and those outside the impact zone (e.g., providing assistance) would help first responders, decision makers, and the public to understand the situation first-hand. Effective use of such information requires timely selection and analysis of tweets that are relevant to a particular disaster. Even though abundant tweets are promising as a data source, it is challenging to automatically identify relevant messages since tweet are short and unstructured, resulting to unsatisfactory classification performance of conventional learning-based approaches. Thus, we propose a simple yet effective algorithm to identify relevant messages based on matching keywords and hashtags, and provide a comparison between matching-based and learning-based approaches. To evaluate the two approaches, we put them into a framework specifically proposed for analyzing disaster-related tweets. Analysis results on eleven datasets with various disaster types show that our technique provides relevant tweets of higher quality and more interpretable results of sentiment analysis tasks when compared to learning approach.

연구 동기 및 목표

• 짧고 비공식적인 소셜미디어 메시지에서 관련 재해 트윗을 식별하는 데 도전 과제를 해결하기 위해.
• 매칭 기반 및 학습 기반 접근법이 재해 관련 트윗 분류에 있어 효과적으로 어떻게 작용하는지 비교하기 위해.
• 핵심 키워드 매칭과 공동 작업을 통한 관련 해시태그 확장으로 재해 트윗 식별의 재현율과 품질을 향상시키기 위해.
• 공개 연구 용도로 사용할 수 있도록 11개의 새로운 지리적 태깅이 된 재해 트윗 데이터셋을 제작하고 공개하기 위해.
• 매칭 기반 방법이 학습 기반 모델보다 더 해석 가능한 감성 분석 결과를 도출할 수 있음을 입증하기 위해.

제안 방법

• 각 재해 유형(예: 'earthquake', 'flood')에 대해 사전 정의된 핵심 키워드 세트를 사용하여 트윗을 매칭한다.
• 핵심 키워드에 대응하는 해시태그를 트윗 코퍼스에서 자동으로 추출한다.
• 해시태그 후보군을 공동 작업를 통해 정제하여 관련 없는 해시태그를 제거함으로써 정밀도를 향상시킨다.
• 최종적으로 핵심 키워드와 정제된 해시태그 세트를 사용하여 관련 재해 트윗을 매칭하고 검색한다.
• 보완적인 학습 기반 접근법은 word2vec, TF-IDF, LSI 및 로지스틱 회귀를 사용하여 트윗을 분류한다.
• 프레임워크는 재현율을 주요 평가 지표로 사용하며, 각 방법의 출력 결과를 상호 평가를 위한 기준으로 간주한다.

실험 결과

연구 질문

• RQ1 재현율과 결과 품질 측면에서 매칭 기반 및 학습 기반 접근법이 재해 관련 트윗 식별에 있어 어떻게 비교될 수 있는가?
• RQ2 관련 해시태그 세트를 확장함으로써 매칭 기반 트윗 식별의 재현율을 얼마나 향상시킬 수 있는가?
• RQ3 스팸 트윗의 존재는 재해 관련 트윗의 감성 분석 신뢰성에 어떤 영향을 미치는가?
• RQ4 매칭 기반 접근법은 학습 기반 모델보다 더 해석 가능한 감성 분석 결과를 도출할 수 있는가?
• RQ5 다양한 재해 유형(예: 지진, 홍수, 산불)에 따라 두 접근법의 성능은 어떻게 달라지는가?

주요 결과

• 모든 11개의 재해 데이터셋에서 매칭 기반 방법이 학습 기반 방법보다 더 높은 재현율 점수를 기록하여 관련 트윗을 더 잘 식별함을 나타낸다.
• 개선된 매칭 기반 방법은 기존의 매칭 접근법 대비 관련 트윗 수를 최대 80%까지 증가시켰다.
• 학습 기반 방법은 더 높은 비율의 관련 없는 트윗을 포함시켜 감성 분석 결과를 왜곡하고 실제 재해 영향 추세를 가리키는 데 영향을 미쳤다.
• 스팸 트윗을 제거한 후 감성 분석에서 긍정 및 부정 트윗의 수가 더 정확해지고 실제 재해 사건과 시간적으로 일치하는 경향을 보였다.
• 뉴욕 스톰 데이터셋에서 10일째에 관찰된 감성 이상 정점은 50명의 활동 스파이어가 일괄적으로 동일한 내용을 게재함으로써 발생했다.
• 매칭 기반 방법은 학습 기반 방법과 달리 정점 재해 기간 동안 부정적 감성의 급격한 증가를 명확히 보여주는 더 해석 가능한 감성 지ap을 생성했다.