[논문 리뷰] Cross-lingual Transfer Learning for COVID-19 Outbreak Alignment

Sharon Levy, William Yang Wang|arXiv (Cornell University)|2020. 06. 05.

Topic Modeling참고 문헌 14인용 수 4

한 줄 요약

이 논문은 다국어 BERT와 트윗 특징을 활용한 다국어 간 전이 학습을 제안하여, 다양한 국가 간 코로나19 유행 추세와 소셜 미디어 활동을 정렬한다. 이탈리아 트윗 데이터로 훈련한 모델은 다른 국가의 확진자 수를 예측할 때 최대 0.85 스피어만 상관계수를 기록하며, 패닉 기간 동안 소셜 미디어의 언어적 및 의미적 패턴이 국가 간으로 일반화될 수 있음을 보여준다.

ABSTRACT

The spread of COVID-19 has become a significant and troubling aspect of society in 2020. With millions of cases reported across countries, new outbreaks have occurred and followed patterns of previously affected areas. Many disease detection models do not incorporate the wealth of social media data that can be utilized for modeling and predicting its spread. In this case, it is useful to ask, can we utilize this knowledge in one country to model the outbreak in another? To answer this, we propose the task of cross-lingual transfer learning for epidemiological alignment. Utilizing both macro and micro text features, we train on Italy's early COVID-19 outbreak through Twitter and transfer to several other countries. Our experiments show strong results with up to 0.85 Spearman correlation in cross-country predictions.

연구 동기 및 목표

• 한 국가의 소셜 미디어 패턴이 다국어 간 전이 학습을 통해 다른 국가의 유행 추세를 예측할 수 있는지 조사한다.
• 다국어 문장 임베딩이 언어 및 국가 간 역학적 추세를 정렬하는 데 효과적인지 평가한다.
• _macro 수준(예: 트윗 빈도)과 micro 수준(예: 의미 임베딩) 특징이 함께 통합될 경우, 국가 간 유행 예측 성능이 향상되는지 확인한다.
• 이탈리아의 초기 유행 데이터로 훈련된 모델이 후속 유행 국가의 추세를 일반화하여 예측할 수 있는지 평가한다.
• 훈련 데이터의 시기와 샘플 크기가 다국어 예측 성능에 미치는 영향을 탐구한다.

제안 방법

• 연구는 이탈리아어, 태국어, 일본어, 터키어, 인도네시아어 트윗에서 다국어 BERT(mBERT) 모델을 사용해 다국어 문장 임베딩을 생성한다.
• 소셜 미디어 활동을 표현하기 위해 매크로 수준 특징(일일 트윗 빈도)과 마이크로 수준 특징(의미 임베딩)을 결합한다.
• 선형 회귀 모델은 이탈리아의 초기 유행 데이터(2020년 2월~3월)를 기반으로 총 확진자 수와 일일 확진자 수를 예측하도록 훈련된다.
• 훈련된 모델은 타겟 국가 데이터에 대한 미세조정 없이 동일한 모델 가중치만을 사용해 다른 국가의 확진자 추세를 예측하도록 전이된다.
• 예측 성능 평가에는 예측된 확진자 수와 실제 수치 간의 스피어만 순위 상관계수를 사용하며, 다양한 시간 설정과 국가에서 평가된다.
• 5개의 시간 설정을 사용한다: 2월 전용 훈련, 2월~3월, 2월~4월, 3월 전용, 2월~4월(상한선), 자료 가용성의 다양성을 평가하기 위해 사용된다.

실험 결과

연구 질문

• RQ1 특히 트위터에서의 한 국가의 소셜 미디어 활동이 다국어 간 전이 학습을 통해 다른 국가의 코로나19 유행 궤적을 예측할 수 있는가?
• RQ2 mBERT에서 생성한 다국어 문장 임베딩이 다양한 언어와 국가 간 소셜 미디어 콘텐츠와 역학적 확진자 수를 얼마나 잘 정렬하는가?
• RQ3 매크로 수준(빈도)과 마이크로 수준(의미) 트윗 특징을 결합하면, 개별적으로 사용할 경우보다 다국어 유행 예측 성능이 향상되는가?
• RQ4 훈련 데이터의 시기(예: 정점 이전 vs. 정점 이후)가 다른 국가로의 일반화 성능에 미치는 영향은 어떠한가?
• RQ5 이탈리아의 초기 유행 데이터로 훈련된 모델이 2020년 4월까지 증가 추세를 보이고 있던 인도네시아와 같이 다른 유행 곡선을 가진 국가로 일반화 가능한가?

주요 결과

• 이탈리아 데이터로 훈련하고 태국에서 테스트한 결과, 총 확진자 수 예측에서 최대 0.859의 스피어만 상관계수를 기록하며 강력한 다국어 예측 능력을 입증했다.
• 신규 일일 확진자 수 예측에서는 이탈리아 데이터로 2월~4월 훈련한 결과, 인도네시아에서 최고 0.742의 상관계수를 기록하며 정점 이후 추세와 강력한 일치를 보였다.
• 2월과 3월 데이터로 훈련한 결과, 총 확진자 수 예측에서 최대 0.856의 상관계수를 기록하며 선형 증가 단계는 정점 또는 감소 단계보다 예측이 더 용이함을 시사했다.
• 인도네시아는 다른 국가보다 신규 일일 확진자 수 예측에서 더 강한 일치를 보였는데, 이는 2020년 4월까지도 확진자 수가 계속 증가하고 있었고, 모델이 훈련 기간에 이를 경험하지 못했기 때문일 수 있다.
• 상한선 설정(2월~4월 훈련)이 모든 국가와 확진자 유형에서 최고의 상관계수를 기록하며, 더 넓은 유행 커버리지가 일반화 능력을 향상시킴을 확인했다.
• 시간 설정 I 및 IV에서의 낮은 상관계수 값은, 제한된 또는 비선형 데이터(예: 오직 2월)로 훈련된 모델이 다른 유행 역학을 가진 국가로의 일반화에 어려움을 겪는다는 것을 시사한다.