[논문 리뷰] Twitter as a Lifeline: Human-annotated Twitter Corpora for NLP of Crisis-related Messages

Muhammad Imran, Prasenjit Mitra외 1명|arXiv (Cornell University)|2016. 05. 19.

Public Relations and Crisis Communication참고 문헌 16인용 수 144

한 줄 요약

이 논문은 19건의 재난(2013–2015)에 걸쳐 수집된 대규모의 인간 주석 위기 관련 트위터 말뭉치를 제시하고, 분류기(NB, SVM, RF)를 구축하며, OOV 용어의 정규화 자원과 함께 52 million crisis tweets의 워드 임베딩을 공개한다.

ABSTRACT

Microblogging platforms such as Twitter provide active communication channels during mass convergence and emergency events such as earthquakes, typhoons. During the sudden onset of a crisis situation, affected people post useful information on Twitter that can be used for situational awareness and other humanitarian disaster response efforts, if processed timely and effectively. Processing social media information pose multiple challenges such as parsing noisy, brief and informal messages, learning information categories from the incoming stream of messages and classifying them into different classes among others. One of the basic necessities of many of these tasks is the availability of data, in particular human-annotated data. In this paper, we present human-annotated Twitter corpora collected during 19 different crises that took place between 2013 and 2015. To demonstrate the utility of the annotations, we train machine learning classifiers. Moreover, we publish first largest word2vec word embeddings trained on 52 million crisis-related tweets. To deal with tweets language issues, we present human-annotated normalized lexical resources for different lexical variations.

연구 동기 및 목표

• 대규모의 인간 주석 트위터 말뭉치를 19개의 위기(2013–2015)에서 제공하여 위기 정보 처리에 대한 NLP를 가능하게 한다.
• UN OCHA 카테고리에 맞춘 주석 체계를 만들어 실행 가능한 위기 정보에 맞춘 라벨링을 수행한다.
• 기본 분류기와 공개 워드 임베딩을 개발하여 신속한 재해 대응 연구를 지원한다.

제안 방법

• AIDR 플랫폼을 통해 19건의 재난과 다양한 언어에서 위기 관련 트윗을 수집한다.
• UN OCHA에서 영감을 받은 범주로 트윗에 주석을 달고, OOV 용어를 정규화 힌트를 통해 분리한다.
• 정보 이득을 통한 1k 특징 선택으로 전처리된 unigram/bigram을 사용해 다중 클래스 분류기(Naive Bayes, SVM, Random Forest)를 학습한다.
• 위기 말뭉치에서 52-million 트윗으로 word2vec 임베딩(CBOW, 300-dim, negative sampling)을 학습한다.
• CrowdFlower를 사용해 OOV 용어의 정규화를 식별하고 크라우드소싱하며, 사전에서 얻은 규칙 기반의 초기 후보 세트와 편집거리 보정으로 보완한다.

실험 결과

연구 질문

• RQ1 대규모의 인간 주석 위기 트윗 말뭉치가 위기 관련 정보의 감독 학습 분류를 개선할 수 있는가?
• RQ2 인도주의적 필요에 맞춰 위기 관련 트위터 데이터에 효과적인 주석 체계는 무엇인가?
• RQ3 다양한 재난에 걸친 노이즈가 많은 짧은 위기 메시지에서 표준 분류기가 얼마나 잘 수행하는가?
• RQ4 대규모 위기 트윗 임베딩이 재해 대응의 다운스트림 NLP 작업에 어떤 유용성을 제공하는가?
• RQ5 재난 트윗의 OOV 단어를 체계적으로 식별하고 정규화하여 NLP 파이프라인을 지원하려면 어떻게 해야 하는가?

주요 결과

• 주석이 달린 데이터셋은 약 50,000건의 메시지에 대해 주제 범주와 OOV 정규화 용어를 함께 다룬다.
• 세 가지 분류기(SVM, NB, RF)는 여러 재난 데이터셋에서 대부분의 클래스에 대해 AUC가 ≥0.80에 도달하는 양호한 성능을 보이며, 더 작은 ‘missing trapped/found’ 클래스에서는 성능이 다소 약하다.
• 52 million 재난 트윗에서 학습된 word2vec 임베딩은 연구자들이 이용할 수 있는 최초이자 가장 큰 위기 특화 임베딩 자원이다.
• OOV 정규화 자원은 크라우드소싱으로 생성되며, NLP 작업의 정규화를 돕기 위해 오타, 약어, 속어 및 비표준 형태를 다룬다.
• 데이터세트는 19개의 위기에 걸쳐 여러 국가와 언어를 포괄하므로 다이어략트(다양한 방언) 강건성과 NLP 모델의 보다 넓은 적용 가능성을 제공한다.