[論文レビュー] Addressing machine learning concept drift reveals declining vaccine sentiment during the COVID-19 pandemic

Martin Müller, Marcel Salathé|arXiv (Cornell University)|Dec 3, 2020

Data Stream Mining Techniques参考文献 30被引用数 16

ひとこと要約

本研究は、COVID-19パンデミック期におけるワクチン賛否感情の分類において、パンデミック以前のツイッターデータで訓練された機械学習モデルが深刻なコンセプトドリフトを示し、ワクチン賛否感情の低下が系統的に低く見積もられることを示している。2017年から2020年までのアノテート済みツイッターデータをFastTextおよびBERT分類器に適用することで、2020年以前に訓練されたモデルが感情の急激な低下を検出できないことが明らかになった。これは、危機時におけるリアルタイムのソーシャルメディア監視において、継続的再訓練とアクティブラーニングフレームワークの導入が急務であることを示唆している。

ABSTRACT

Social media analysis has become a common approach to assess public opinion on various topics, including those about health, in near real-time. The growing volume of social media posts has led to an increased usage of modern machine learning methods in natural language processing. While the rapid dynamics of social media can capture underlying trends quickly, it also poses a technical problem: algorithms trained on annotated data in the past may underperform when applied to contemporary data. This phenomenon, known as concept drift, can be particularly problematic when rapid shifts occur either in the topic of interest itself, or in the way the topic is discussed. Here, we explore the effect of machine learning concept drift by focussing on vaccine sentiments expressed on Twitter, a topic of central importance especially during the COVID-19 pandemic. We show that while vaccine sentiment has declined considerably during the COVID-19 pandemic in 2020, algorithms trained on pre-pandemic data would have largely missed this decline due to concept drift. Our results suggest that social media analysis systems must address concept drift in a continuous fashion in order to avoid the risk of systematic misclassification of data, which is particularly likely during a crisis when the underlying data can change suddenly and rapidly.

研究の動機と目的

• 公共の健康危機の間におけるソーシャルメディア上の公衆感情の変化検出に影響を及ぼす機械学習モデルのコンセプトドリフトの影響を調査すること。
• パンデミック以前のデータで訓練されたNLPモデルが、COVID-19パンデミック期のワクチン賛否感情データに適用された際の性能を評価すること。
• コンセプトドリフトが、急激に変化する出来事において特に、静的モデルの信頼性を著しく損なうことを示し、リアルタイム感情分析における重大な脅威であることを立証すること。
• 危機時における正確性を維持するため、ソーシャルメディア監視システムにアクティブラーニングおよび継続的再訓練フレームワークを統合するよう提言すること。

提案手法

• 2017年7月から2020年10月までの英語ツイート約5750万件を、TwitterのパブリックAPIを用いて収集し、ワクチン関連キーワードでフィルタリングした。
• Crowdbreaksプラットフォームを用いて、44,843件のツイートを3クラス（肯定的、中立的、否定的）の感情ラベルでアノテートした。Fleissのkapppaは0.30であった。
• アノテート済みデータを用いてFastTextおよびBERT分類器を訓練し、全データセットにおける最適性能を得るためのハイパーパramータチューニングを実施した。
• 時間窓を用いた評価戦略を採用し、パンデミック以前（2018年）とパンデミック期（2020年）のデータに対してモデル性能を比較することで、コンセプトドリフトの影響を隔離した。
• Crowdbreaksのテキスト分類ライブラリとCOVID-Twitter-BERTを用いてBERTのファインチューニングを行い、小文字変換、ASCII正規化、ユーザーメンションおよびURLの匿名化を含む前処理を実施した。
• 時間的スプリットを用いた評価を通じて、コンセプトドリフトに起因する性能低下を定量化し、データ分布のシフトとは明確に区別した。

実験結果

リサーチクエスチョン

• RQ1 NLPモデルにおけるコンセプトドリフトは、COVID-19パンデミック期におけるソーシャルメディア上での公衆感情の変化検出をどの程度損なうか？
• RQ2 2020年以前に訓練されたモデルが、パンデミック期のツイッターデータに適用された際、ワクチン賛否感情分類の性能がどの程度低下するか？
• RQ3 ワクチン関連議論におけるトピック的・言語的シフトが分類器の信頼性に及ぼす影響は何か。また、その影響をどのように軽減できるか？
• RQ4 アクティブラーニングおよび継続的再訓練フレームワークは、リアルタイムの公衆衛生監視システムにおけるコンセプトドリフトを効果的に是正できるか？

主な発見

• 2018年に訓練されたモデルは、2020年のデータに適用した際、コンセプトドリフトの影響により顕著な性能低下を示し、F1スコアが著しく低下した。
• パンデミック期におけるワクチン賛否感情の低下は、2020年以前に訓練されたモデルではほとんど検出されなかった。これは、リアルタイム監視における深刻な失敗を示している。
• 本研究は、コンセプトドリフトが単なる統計的ノイズではなく、危機的状況下でのNLPシステムの信頼性を脅かす重大な脅威であることを確認した。
• FastTextおよびBERT両モデルは、インサンプルデータでは高い性能を示したが、2020年以降のデータには一般化できず、動的再訓練の必要性を浮き彫りにした。
• 観察されたコンセプトドリフトは、極端化の増加や新規用語の出現といった議論のシフトに起因しており、ランダムノイズやデータバイアスとは異なる。
• 静的モデルでは不十分であり、公衆衛生監視においてタイムリーかつ正確な感情検出を実現するためには、継続的なアノテーションとモデル再訓練が不可欠であると示唆された。