[論文レビュー] Cross-lingual Transfer Learning for COVID-19 Outbreak Alignment

Sharon Levy, William Yang Wang|arXiv (Cornell University)|Jun 5, 2020

Topic Modeling参考文献 14被引用数 4

ひとこと要約

本稿では、多言語 BERT とツイート特徴量を用いた多言語間転移学習により、国をまたいでCOVID-19の流行傾向とソーシャルメディア活動を一致付ける手法を提案する。イタリアのツイッターデータで学習したモデルは、他の国における症例数の予測において最大 0.85 のスピアマン順位相関を達成し、パンデミック期におけるソーシャルメディアの言語的・意味的パターンが国を越えて一般化可能であることを示している。

ABSTRACT

The spread of COVID-19 has become a significant and troubling aspect of society in 2020. With millions of cases reported across countries, new outbreaks have occurred and followed patterns of previously affected areas. Many disease detection models do not incorporate the wealth of social media data that can be utilized for modeling and predicting its spread. In this case, it is useful to ask, can we utilize this knowledge in one country to model the outbreak in another? To answer this, we propose the task of cross-lingual transfer learning for epidemiological alignment. Utilizing both macro and micro text features, we train on Italy's early COVID-19 outbreak through Twitter and transfer to several other countries. Our experiments show strong results with up to 0.85 Spearman correlation in cross-country predictions.

研究の動機と目的

• 1 つの国におけるソーシャルメディアのパターンが、多言語間転移学習を用いて他国における流行傾向を予測できるかどうかを調査すること。
• 多言語文書埋め込みが、言語や国を越えて疫学的傾向を一致付ける有効性を評価すること。
• マクロレベル（例：ツイート頻度）とマイクロレベル（例：意味的埋め込み）の特徴量を併用することで、国を越えた流行予測が向上するかどうかを検証すること。
• イタリアの初期流行データから学習したモデルが、後発の流行を示す国への一般化能力を評価すること。
• 学習データのタイミングとサンプルサイズが、多言語間予測性能に与える影響を調査すること。

提案手法

• 研究では、イタリア語、タイ語、日本語、トルコ語、インドネシア語のツイートから、多言語 BERT（mBERT）モデルを用いて多言語間文書埋め込みを生成する。
• マクロレベル特徴量（1日あたりのツイート頻度）とマイクロレベル特徴量（意味的埋め込み）を組み合わせ、ソーシャルメディア活動を表現する。
• 線形回帰モデルをイタリアの初期流行データ（2020年2月～3月）で学習し、累計症例数および1日あたりの確定症例数を予測する。
• 訓練済みモデルを、ターゲット国データでのファインチューニングなしに、同じモデル重みのみを用いて他の国での症例傾向を予測するために転送する。
• 予測値と実際の症例数の間のスピアマン順位相関を用いて、複数の時間設定と国でモデルを評価する。
• 5つの時間設定を用いる：2月のみで学習、2月～3月、2月～4月、3月のみ、および2月～4月（上限設定）。データ可用性の異なる条件下での一般化能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 1 つの国（特にツイッターから）のソーシャルメディア活動を、多言語間転移学習を用いて、他国におけるCOVID-19の流行推移を予測できるか？
• RQ2 mBERT からの多言語文書埋め込みは、異なる言語や国において、ソーシャルメディアコンテンツと疫学的症例数をどの程度正確に一致させられるか？
• RQ3 マクロレベル（頻度）とマイクロレベル（意味的）のツイート特徴量を併用することで、単独で使用する場合と比較して、多言語間の流行予測が向上するか？
• RQ4 学習データのタイミング（例：ピーク前 vs. ピーク後）が、他の国へのモデルの一般化性能に与える影響はいかほどか？
• RQ5 イタリアの初期流行データから学習したモデルは、2020年4月にまだ増加傾向にあったインドネシアのような、異なる流行曲線を示す国に対しても一般化可能か？

主な発見

• イタリアのデータで学習し、タイでテストした場合、累計症例数とのスピアマン相関が最大 0.859 を記録し、顕著な多言語間予測能力を示した。
• 新規1日あたり症例数の予測において、2月～4月のデータで学習した場合、インドネシアで最高 0.742 の相関を達成し、ピーク後の傾向と強い一致を示した。
• 2月と3月のデータで学習した場合、累計症例数において最大 0.856 の相関を記録し、線形増加段階はピーク期や減少期よりも予測が容易であることが示された。
• インドネシアは、2020年4月に症例数が継続的に増加していたことから、他の国と比較して新規1日あたり症例数との一致が強く、モデルが学習中にその傾向を経験していない可能性がある。
• 上限設定（2月～4月で学習）では、すべての国と症例タイプで最高の相関が達成され、より広範な流行カバー範囲が一般化性能を向上させることを確認した。
• 設定 I および IV での相関が低かったことから、限定的または非線形なデータ（例：2月のみ）で学習したモデルは、異なる流行ダイナミクスを示す国への一般化に苦労することがわかった。