[논문 리뷰] Efficacy of BERT embeddings on predicting disaster from Twitter data

Ashis Kumar Chanda|arXiv (Cornell University)|2021. 08. 08.

Topic Modeling참고 문헌 33인용 수 6

한 줄 요약

이 연구는 전통적인 기계학습 및 딥러닝 모델을 사용하여 재해 관련 트윗을 분류하기 위해 BERT 임베딩을 평가한다. 연구 결과, 문맥 기반 BERT 임베딩이 문맥 무관 임베딩(GloVe, FastText, Skip-gram)보다 여러 지표에서 뛰어나며, Bi-LSTM와 조합했을 때 AUC(0.8578)와 정확도(83.08%)가 가장 높게 나타나, 짧고 모호한 소셜미디어 텍스트에서 재해 예측에 있어 문맥적 뉘앙스를 이해하는 데서의 우수성을 입증한다.

ABSTRACT

Social media like Twitter provide a common platform to share and communicate personal experiences with other people. People often post their life experiences, local news, and events on social media to inform others. Many rescue agencies monitor this type of data regularly to identify disasters and reduce the risk of lives. However, it is impossible for humans to manually check the mass amount of data and identify disasters in real-time. For this purpose, many research works have been proposed to present words in machine-understandable representations and apply machine learning methods on the word representations to identify the sentiment of a text. The previous research methods provide a single representation or embedding of a word from a given document. However, the recent advanced contextual embedding method (BERT) constructs different vectors for the same word in different contexts. BERT embeddings have been successfully used in different natural language processing (NLP) tasks, yet there is no concrete analysis of how these representations are helpful in disaster-type tweet analysis. In this research work, we explore the efficacy of BERT embeddings on predicting disaster from Twitter data and compare these to traditional context-free word embedding methods (GloVe, Skip-gram, and FastText). We use both traditional machine learning methods and deep learning methods for this purpose. We provide both quantitative and qualitative results for this study. The results show that the BERT embeddings have the best results in disaster prediction task than the traditional word embeddings. Our codes are made freely accessible to the research community.

연구 동기 및 목표

• 짧고 모호한 소셜미디어 텍스트에서 재해 관련 트윗을 분류하는 데서 발생하는 과제를 분석하기 위해.
• 재해 예측에서 문맥 기반 임베딩(BERT)과 문맥 무관 임베딩(GloVe, FastText, Skip-gram)의 효능을 비교하기 위해.
• 이 작업을 위해 다양한 단어 표현 방식을 사용한 전통적 기계학습 및 딥러닝 모델을 평가하기 위해.
• 재해 관련 자연어 처리 분야의 재현성과 향후 연구를 위해 공개된 코드베이스를 제공하기 위해.

제안 방법

• 연구는 텍스트 분류를 위한 입력 표현으로 사전 학습된 BERT, GloVe, FastText 및 Skip-gram 임베딩을 사용한다.
• 선형 회귀, 의사결정트리, 랜덤 포레스트 등의 얕은 모델과 Bi-LSTM, 소프트맥스 등의 딥러닝 모델을 사용하여 트윗이 재해 관련인지 여부를 분류한다.
• 모델 성능은 AUC, F1-score, 정확도 등의 표준 NLP 지표를 사용하여 훈련 세트와 테스트 세트에서 평가된다.
• qualitative 분석을 통해 특정 트윗 예시에서 GloVe(문맥 무관)와 BERT(문맥 기반) 임베딩을 사용한 Bi-LSTM 모델의 예측을 비교한다.
• 연구는 카글의 재해 트윗 데이터셋을 활용하며, 엔드 투 엔드 훈련 및 추론 파이프라인을 구현한다.
• 모든 코드는 재현성과 커뮤니티 접근성을 확보하기 위해 GitHub에 공개되어 있다.

실험 결과

연구 질문

• RQ1 짧은 소셜미디어 텍스트에서 BERT와 같은 문맥 기반 단어 임베딩이 문맥 무관 임베딩보다 재해 예측 정확도를 향상시킬 수 있는가?
• RQ2 다양한 임베딩 유형을 사용할 때, 전통적 기계학습 모델과 딥러닝 모델(Bi-LSTM 등)은 어떻게 비교되는가?
• RQ3 문맥 기반 임베딩은 정적 임베딩보다 재해 관련 트윗의 의미를 어떻게 더 잘 포착하는가?
• RQ4 모호한 트윗에서 재해 관련 키워드를 포함하고 있을 경우, 문맥 무관 임베딩과 문맥 기반 임베딩 간의 모델 예측 방식은 어떻게 다를까?

주요 결과

• BERT 임베딩은 Bi-LSTM 모델과 조합했을 때 테스트 정확도(83.08%)와 AUC(0.8578)가 가장 높게 나타나, 다른 모든 임베딩 및 모델 조합보다 뛰어난 성능을 보였다.
• BERT+Bi-LSTM 모델은 가장 뛰어난 문맥 무관 모델(GloVe+Bi-LSTM) 대비 AUC 2%p, 정확도 2%p 향상시켰다.
• 문맥 무관 임베딩인 GloVe는 '사고' 또는 '화재'와 같은 단어를 문맥 외부에서 사용할 경우 비재해 트윗을 잘못 분류하는 데 실패했지만, BERT는 이를 정확히 비재해로 식별했다.
• BERT는 '화재 소방대원들이 타는 건물로 뛰어들다'와 같은 심각하지만 비재해 트윗도 긍정으로 올바르게 분류하여, 문맥 이해 능력을 입증했다.
• 명확한 재해 키워드를 포함한 트윗(예: '자살 폭탄 테러자', '폭발')은 GloVe와 BERT 모두 정확히 분류했지만, BERT는 모호한 케이스에서 더 뛰어난 일반화 능력을 보였다.
• Bi-LSTM와 같은 딥러닝 모델은 모든 임베딩 유형에서 선형 회귀나 랜덤 포레스트와 같은 얕은 모델보다 일관되게 높은 성능을 보였다.