[논문 리뷰] Addressing machine learning concept drift reveals declining vaccine sentiment during the COVID-19 pandemic

Martin Müller, Marcel Salathé|arXiv (Cornell University)|2020. 12. 03.

Data Stream Mining Techniques참고 문헌 30인용 수 16

한 줄 요약

이 연구는 코로나19 팬데믹 기간 동안 백신 태도를 분류할 때 팬데믹 이전 트위터 데이터로 훈련된 기계학습 모델이 심각한 개념 이탈(concept drift)을 겪어, 백신 태도의 감소를 체계적으로 과소평가한다는 것을 입증한다. 2017–2020년의 애너테이션된 트위터 데이터에 FastText와 BERT 분류기를 적용함으로써, 2020년 이전에 훈련된 모델들이 급격히 감소하는 긍정적 태도를 탐지하지 못함을 입증하며, 위기 상황에서 실시간 소셜 미디어 모니터링에 지속적인 재훈련과 능동적 학습 프레임워크가 절실하게 필요하다는 점을 강조한다.

ABSTRACT

Social media analysis has become a common approach to assess public opinion on various topics, including those about health, in near real-time. The growing volume of social media posts has led to an increased usage of modern machine learning methods in natural language processing. While the rapid dynamics of social media can capture underlying trends quickly, it also poses a technical problem: algorithms trained on annotated data in the past may underperform when applied to contemporary data. This phenomenon, known as concept drift, can be particularly problematic when rapid shifts occur either in the topic of interest itself, or in the way the topic is discussed. Here, we explore the effect of machine learning concept drift by focussing on vaccine sentiments expressed on Twitter, a topic of central importance especially during the COVID-19 pandemic. We show that while vaccine sentiment has declined considerably during the COVID-19 pandemic in 2020, algorithms trained on pre-pandemic data would have largely missed this decline due to concept drift. Our results suggest that social media analysis systems must address concept drift in a continuous fashion in order to avoid the risk of systematic misclassification of data, which is particularly likely during a crisis when the underlying data can change suddenly and rapidly.

연구 동기 및 목표

• 공중보건 위기 기간 동안 소셜 미디어에서 변화하는 대중 태도 탐지에 영향을 미치는 기계학습 모델의 개념 이탈이 어떻게 발생하는지 조사한다.
• 팬데믹 이전 데이터로 훈련된 NLP 모델이 코로나19 팬데믹 기간 동안의 백신 태도 데이터에 적용되었을 때의 성능을 평가한다.
• 개념 이탈이 급격히 변화하는 사건 기간 동안 정적 모델의 신뢰성에 심각한 영향을 미친다는 점을 입증한다.
• 위기 상황에서 정확성을 유지하기 위해 소셜 미디어 모니터링 시스템에 능동적 학습과 지속적인 재훈련 프레임워크를 통합할 것을 주장한다.

제안 방법

• 트위터의 공개 API를 사용해 2017년 7월부터 2020년 10월까지 영어 트위터 데이터 약 5,750만 건을 수집했으며, 백신 관련 키워드로 필터링하였다.
• Crowdbreaks 플랫폼를 통해 44,843건의 트위터를 애너테이션하였으며, 세 가지 레이블(긍정, 중립, 부정)로 백신에 대한 태도를 분류하였고, Fleiss의 카파 계수는 0.30이었다.
• 애너테이션된 데이터를 기반으로 FastText와 BERT 분류기를 훈련하였으며, 전체 데이터셋에서 최적 성능을 내기 위해 초모수 조정을 실시하였다.
• 시간 창 기반 평가 전략을 적용하여 팬데믹 이전(2018년)과 팬데믹 기간(2020년) 데이터에서의 모델 성능을 비교함으로써 개념 이탈 영향을 분리 분석하였다.
• Crowdbreaks 텍스트 분류 라이브러리와 COVID-Twitter-BERT를 사용해 BERT의 미세조정을 수행하였으며, 전처리로 소문자 변환, ASCII 정규화, 사용자 멘션 및 URL 익명화를 실시하였다.
• 시간적 분할에 따른 성능 평가를 통해 개념 이탈로 인한 성능 저하를 정량화하였으며, 데이터 분포 변화와의 차이를 명확히 하였다.

실험 결과

연구 질문

• RQ1 NLP 모델의 개념 이탈이 코로나19 팬데믹 기간 동안 소셜 미디어에서 변화하는 대중 태도 탐지에 얼마나 심각하게 영향을 미치는가?
• RQ2 2020년 이전에 훈련된 모델이 팬데믹 기간 트위터 데이터에 적용되었을 때, 백신 태도 분류 성능이 얼마나 떨어지는가?
• RQ3 백신 관련 논의의 주제적 및 언어적 변화가 분류기 신뢰성에 미치는 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 능동적 학습과 지속적인 재훈련 프레임워크가 실시간 공중보건 감시 시스템에서 개념 이탈을 효과적으로 해결할 수 있는가?

주요 결과

• 팬데믹 이전 데이터(2018년)로 훈련된 모델은 2020년 데이터에 적용되었을 때 심각한 성능 저하를 보였으며, 개념 이탈로 인해 F1 점수가 크게 하락하였다.
• 팬데믹 기간 동안 긍정적 백신 태도의 감소는 2020년 이전에 훈련된 모델에 의해 거의 탐지되지 않았으며, 이는 실시간 모니터링에서 심각한 실패를 의미한다.
• 이 연구는 개념 이탈이 단순한 통계적 변동이 아니라 위기 상황에서 NLP 시스템의 신뢰성에 중대한 위협이 된다는 점을 확인한다.
• FastText와 BERT 모델 모두 내부 데이터에서는 뛰어난 성능을 보였지만, 2020년 이후 데이터에는 일반화하지 못했으며, 이는 동적 재훈련의 필요성을 강조한다.
• 관찰된 개념 이탈은 랜덤 노이즈나 데이터 편향이 아니라, 극심한 극화 및 새로운 용어의 출현 등 논의의 변화 때문임이 밝혀졌다.
• 정적 모델은 공중보건 감시에 부적합하며, 시기적절하고 정확한 태도 탐지의 실현을 위해 지속적인 애너테이션과 모델 재훈련이 필수적임을 시사한다.