[논문 리뷰] ClimateNLP: Analyzing Public Sentiment Towards Climate Change Using Natural Language Processing

Ajay Krishnan T. K., V. S. Anoop|arXiv (Cornell University)|2023. 10. 12.

Climate Change Communication and Perception인용 수 5

한 줄 요약

이 논문은 기후 변화 관련 트윗 데이터를 대상으로 미리 훈련된 도메인 특화 BERT 모델인 ClimateBERT를 미세조정하여 공공의 기후 감성 분석 프레임워크를 제안한다. 균형 잡힌 데이터셋을 사용하여 랜덤 포레스트를 적용한 결과 정확도 85.22%와 정밀도 85.73%를 달성하였으며, 이는 전문화된 언어 모델이 기후 논의 분석에서 일반 모델보다 우수하다는 것을 입증한다.

ABSTRACT

Climate change's impact on human health poses unprecedented and diverse challenges. Unless proactive measures based on solid evidence are implemented, these threats will likely escalate and continue to endanger human well-being. The escalating advancements in information and communication technologies have facilitated the widespread availability and utilization of social media platforms. Individuals utilize platforms such as Twitter and Facebook to express their opinions, thoughts, and critiques on diverse subjects, encompassing the pressing issue of climate change. The proliferation of climate change-related content on social media necessitates comprehensive analysis to glean meaningful insights. This paper employs natural language processing (NLP) techniques to analyze climate change discourse and quantify the sentiment of climate change-related tweets. We use ClimateBERT, a pretrained model fine-tuned specifically for the climate change domain. The objective is to discern the sentiment individuals express and uncover patterns in public opinion concerning climate change. Analyzing tweet sentiments allows a deeper comprehension of public perceptions, concerns, and emotions about this critical global challenge. The findings from this experiment unearth valuable insights into public sentiment and the entities associated with climate change discourse. Policymakers, researchers, and organizations can leverage such analyses to understand public perceptions, identify influential actors, and devise informed strategies to address climate change challenges.

연구 동기 및 목표

• 소셜 미디어 데이터의 자연어 처리를 통해 기후 변화에 대한 공공의 감성을 분석하는 것.
• 특히 ClimateBERT와 같은 도메인 특화 사전 훈련된 언어 모델이 기후 논의의 감성 분류에 얼마나 효과적인지 평가하는 것.
• 다양한 NLP 모델과 특징 공학 기법(예: TF-IDF, CountVectorizer, word2vec)을 조합하여 전통적인 기계학습 분류기와의 성능을 비교하는 것.
• 기후 변화 논의에서 주요 실체와 감성 패턴을 특정하여 정책 및 커뮤니케이션 전략을 뒷받침하는 것.
• 기후 관련 텍스트에 대한 감성 분석을 위한 재현 가능한 프레임워크를 제공하여 환경 및 공중보건 연구 분야의 NLP 응용을 발전시키는 것.

제안 방법

• 기후 변화 관련 문서를 기반으로 사전 훈련된 도메인 적응형 BERT 모델인 ClimateBERT를 트위터 데이터의 감성 분류에 대해 미세조정하는 것.
• 기후 변화 관련 트윗 데이터셋을 사전 처리하고 균형을 맞추어 노이즈를 제거하고 입력에 적합한 텍스트로 표준화하는 것.
• 기존 NLP 특징(TF-IDF, CountVectorizer, word2vec)을 기계학습 분류기(Random Forest, SVM, Decision Tree, Logistic Regression)와 조합하는 것.
• 보류된 테스트 세트에서 표준 NLP 메트릭(정확도, 정밀도, 재현율, F1 점수)을 사용하여 다수의 모델을 훈련하고 평가하는 것.
• 두 단계로 구성된 파이프라인을 사용: 트위터 API를 통한 데이터 수집 후, 5겹 교차 검증을 사용한 모델 훈련 및 평가.
• 모든 감성 클래스에 걸쳐 강건성을 확보하기 위해 F1 점수와 균형 잡힌 정확도를 기반으로 최고 성능을 보인 모델 구성 요소를 선별하는 것.

Figure 1: Overall workflow of the sentiment analysis on climate Change tweets

실험 결과

연구 질문

• RQ1 일반 목적 모델과 비교할 때, ClimateBERT는 소셜 미디어 텍스트에서 기후 변화에 대한 공공의 감성을 얼마나 효과적으로 분류하는가?
• RQ2 TF-IDF, CountVectorizer, word2vec 등의 특징 추출 기법과 기계학습 분류기의 조합 중에서 기후 논의의 감성 분류 성능을 가장 높이는 조합은 무엇인가?
• RQ3 트위터에서 기후 변화 논의와 관련된 주요 감성 패턴과 핵심 실체는 무엇인가?
• RQ4 기후 관련 콘텐츠의 감성 분석에서 기존 NLP 방법은 ClimateBERT와 같은 미세조정된 트랜스포머 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ5 기후 변화에 대한 공공 논의의 감성 분석 결과는 정책 입안자와 공중보건 관계자에게 실질적인 통찰을 제공할 수 있는가?

주요 결과

• 랜덤 포레스트 분류기와 함께 미세조정된 ClimateBERT는 테스트된 모든 모델 중에서 가장 높은 정확도(85.22%)와 정밀도(85.73%)를 기록하였다.
• TF-IDF와 CountVectorizer의 조합은 랜덤 포레스트와 함께 F1 점수 86.87%를 기록하여 다른 특징 조합보다 뛰어난 성능을 보였다.
• 일반 BERT 모델은 성능이 열악하여 SVM의 경우 F1 점수 63.70%에 머물렀으며, 도메인 적응이 없는 한 기후 특화 감성 작업으로의 전이 능력이 제한됨을 시사했다.
• 기존 모델들 중에서 랜덤 포레스트는 모든 메트릭에서 SVM, 결정 트리, 로지스틱 회귀보다 뛰어난 성능을 보였으며, 특히 ClimateBERT 임베딩에서 두드러진 성능을 보였다.
• ClimateBERT 임베딩을 기반으로 훈련된 모델은 긍정적 감성에 대해 재현율 85.22%를 기록하여 기후 변화에 대한 지지적인 공공 여론을 강력하게 식별할 수 있음을 보여주었다.
• 본 연구는 도메인 특화 사전 훈련이 기후 관련 텍스트의 감성 분류 성능을 크게 향상시킨다는 것을 확인하였으며, 이는 ClimateBERT가 환경 NLP 과제에 실질적인 유용성을 지닌다는 것을 입증한다.

(a) Performance evaluation of SVM, LR, RF, and DT algorithms with TF-IDF