[논문 리뷰] CrisisBERT: a Robust Transformer for Crisis Classification and Contextual Crisis Embedding

Junhua Liu, Trisha Singhal외 3명|ArXiv.org|2020. 05. 11.

Public Relations and Crisis Communication참고 문헌 36인용 수 23

한 줄 요약

CrisisBERT는 사회 미디어 텍스트에서 위기 탐지 및 인식을 향상시키는 트랜스포머 기반 모델로, 두 작업 모두에서 최신 기술 수준의 성능을 달성한다. 이 모델은 6개에서 36개의 위기 유형으로 확장되더라도 단지 51.4% 더 많은 학습 데이터만으로도 높은 정확도와 F1 점수를 유지하며 강력한 내성적 안정성을 보여준다.

ABSTRACT

Classification of crisis events, such as natural disasters, terrorist attacks and pandemics, is a crucial task to create early signals and inform relevant parties for spontaneous actions to reduce overall damage. Despite crisis such as natural disasters can be predicted by professional institutions, certain events are first signaled by civilians, such as the recent COVID-19 pandemics. Social media platforms such as Twitter often exposes firsthand signals on such crises through high volume information exchange over half a billion tweets posted daily. Prior works proposed various crisis embeddings and classification using conventional Machine Learning and Neural Network models. However, none of the works perform crisis embedding and classification using state of the art attention-based deep neural networks models, such as Transformers and document-level contextual embeddings. This work proposes CrisisBERT, an end-to-end transformer-based model for two crisis classification tasks, namely crisis detection and crisis recognition, which shows promising results across accuracy and f1 scores. The proposed model also demonstrates superior robustness over benchmark, as it shows marginal performance compromise while extending from 6 to 36 events with only 51.4% additional data points. We also proposed Crisis2Vec, an attention-based, document-level contextual embedding architecture for crisis embedding, which achieve better performance than conventional crisis embedding methods such as Word2Vec and GloVe. To the best of our knowledge, our works are first to propose using transformer-based crisis classification and document-level contextual crisis embedding in the literature.

연구 동기 및 목표

• 사회 미디어에서 위기 관련 콘텐츠를 분류하는 데 기존 방법들을 능가하는 딥 러닝 모델을 개발하는 것.
• 제한된 레이블이 부여된 데이터와 다양한 위기 유형 간의 모델 일반화 문제를 해결하는 것.
• 위기 관련 텍스트에 대해 문서 수준의 어텐션 기반 맥락 기반 임베딩 방법을 제안하는 것.
• 최소한의 추가 데이터로 소수에서 다수의 위기 유형으로 확장할 때의 내성적 안정성 평가

제안 방법

• 트윗 데이터에서 엔드 투 엔드 위기 분류를 위한 피넷유즈드 BERT 기반 트랜스포머 모델인 CrisisBERT를 제안한다.
• 장거리 의존성과 위기 텍스트의 맥락적 의미를 포착하기 위해 멀티헤드 자기어텐션과 위치 인코딩을 활용한다.
• 위기 관련 트윗 데이터로 훈련된 트랜스포머 기반의 문서 수준 맥락 기반 임베딩 모델인 Crisis2Vec을 도입한다.
• CrisisBERT를 다양한 위기 분류 벤치마크에서 훈련하며, 이는 위기 탐지(이元)와 위기 인식(다중 클래스)을 포함한다.
• 사전 훈련된 가중치를 사용한 전이 학습을 적용하고, 위기 특화 데이터셋에서 피inetuning하여 최종 성능을 향상시킨다.
• 어조 기반 임베딩 생성을 위해 어텐션 메커니즘을 적용하여 위기 관련 언어의 의미적 및 문법적 특징을 포착한다.

실험 결과

연구 질문

• RQ1 CrisisBERT와 같은 트랜스포머 기반 모델이 기존의 기계 학습 및 신경망 모델보다 위기 분류 작업에서 뛰어난 성능을 내는가?
• RQ2 제한된 추가 학습 데이터로 소수에서 다수의 위기 유형으로 확장될 때 CrisisBERT의 내성적 안정성은 어떠한가?
• RQ3 Crisis2Vec과 같은 문서 수준 맥락 기반 임베딩 모델이 Word2Vec과 GloVe와 같은 정적 단어 임베딩보다 분류 성능을 향상시키는가?
• RQ4 기존 모델들이 6개에서 36개의 위기 유형으로 확장될 때 F1 점수의 성능 저하율은 얼마이며, CrisisBERT는 이를 어떻게 비교하는가?
• RQ5 Crisis2Vec에서 유도된 맥락 기반 임베딩이 Logistic Regression과 LSTM과 같은 최종 분류 모델을 일관되게 향상시키는가?

주요 결과

• CrisisBERT는 위기 인식 및 탐지 작업에서 이전 방법 대비 최대 25.0%의 F1 점수 향상과 최대 8.2%의 정확도 향상을 달성하여 최신 기술 수준의 성능을 확보한다.
• 6개에서 36개의 위기 유형으로 확장할 때 CrisisBERT는 F1 점수 1.6% 감소, 정확도 0.7% 감소에 그쳐 벤치마크 대비 뛰어난 내성적 안정성을 입증한다.
• Crisis2Vec는 전통적인 단어 임베딩인 Word2Vec과 GloVe를 능가하며, Logistic Regression과 LSTM 모델 모두에서 분류 성능 향상을 이룬다.
• 기타 모델의 경우 6개에서 36개의 클래스로 확장될 때 F1 점수의 성능 저하율은 6.0%에서 67.2%까지 다양하게 나타나, CrisisBERT의 안정성을 부각시킨다.
• 6개에서 36개의 클래스로 확장할 때 단지 51.4% 더 많은 데이터만 필요로 하며, 성능 저하가 극히 미미하여 CrisisBERT가 높은 효율성을 보인다.
• 저자들의 지적에 비추어 볼 때, 본 연구는 트랜스포머 기반 모델과 문서 수준 맥락 기반 임베딩을 위기 분류 및 임베딩 작업에 적용한 최초의 연구로 보인다.