[論文レビュー] Self-supervised Pretraining and Transfer Learning Enable Flu and COVID-19 Predictions in Small Mobile Sensing Datasets

Mike A. Merrill, Tim Althoff|arXiv (Cornell University)|May 26, 2022

Data-Driven Disease Surveillance被引用数 5

ひとこと要約

本論文は、モバイルヘルスセンシングにおける多変量時系列分類のための自己教師あり事前学習および転移学習フレームワークを提案する。CNN-Transformerアーキテクチャを用いて長距離依存関係と欠損データパターンをモデル化する。ベースラインと比較してAUCで最大0.15の向上を達成し、0.68のROC AUCを達成するゼロショットCOVID-19予測を可能にし、新興感染症に対する転移可能な行動表現の有効性を示している。

ABSTRACT

Detailed mobile sensing data from phones, watches, and fitness trackers offer an unparalleled opportunity to quantify and act upon previously unmeasurable behavioral changes in order to improve individual health and accelerate responses to emerging diseases. Unlike in natural language processing and computer vision, deep representation learning has yet to broadly impact this domain, in which the vast majority of research and clinical applications still rely on manually defined features and boosted tree models or even forgo predictive modeling altogether due to insufficient accuracy. This is due to unique challenges in the behavioral health domain, including very small datasets (~10^1 participants), which frequently contain missing data, consist of long time series with critical long-range dependencies (length>10^4), and extreme class imbalances (>10^3:1). Here, we introduce a neural architecture for multivariate time series classification designed to address these unique domain challenges. Our proposed behavioral representation learning approach combines novel tasks for self-supervised pretraining and transfer learning to address data scarcity, and captures long-range dependencies across long-history time series through transformer self-attention following convolutional neural network-based dimensionality reduction. We propose an evaluation framework aimed at reflecting expected real-world performance in plausible deployment scenarios. Concretely, we demonstrate (1) performance improvements over baselines of up to 0.15 ROC AUC across five prediction tasks, (2) transfer learning-induced performance improvements of 16% PR AUC in small data scenarios, and (3) the potential of transfer learning in novel disease scenarios through an exploratory case study of zero-shot COVID-19 prediction in an independent data set. Finally, we discuss potential implications for medical surveillance testing.

研究の動機と目的

• 行動健康予測における限られた、不均衡でノイズの多いモバイルセンシングデータの課題に対処すること。
• 小さなデータセットや新規疾患シナリオにおいて一般化可能な深層学習フレームワークを開発すること。
• 手動による特徴工学を用いずに、生のセンサデータからインフルエンザやCOVID-19などの呼吸器系感染症の予測性能を向上させること。
• 現実世界の展開条件を反映し、極端なクラス不均衡に起因する統計的不確実性を低減する、現実的な評価フレームワークを確立すること。

提案手法

• モデルは、生の分単位のセンサデータからの次元削減および時系列特徴抽出のための畳み込みニューラルネットワーク（CNN）を組み合わせた階層的アーキテクチャを採用する。
• 長期間の時系列（最大10,000ステップ）における長距離依存関係を捉えるために、トランスフォーマー自己注意機構を用いる。
• 特にドメイン知識（「ドメインインスパイアドフィーチャー」）を統合した、新規の自己教師あり事前学習タスクを導入し、限られたデータから汎用的な表現を学習する。
• 不完全なシーケンスを単に除外するのではなく、欠損データのパターンを明示的にモデル化することで、現実世界のデータにおけるロバスト性を向上させる。
• ドメインインスパイアドフィーチャーの自己教師あり事前学習タスクで事前学習した後、インフルエンザ予測タスクで微調整することで転移学習を適用する。
• 極端なクラス不均衡に対応し、複数の予測タスクを統合して分析することで、現実世界の性能の過大評価を防ぐ、包括的な評価フレームワークを提案する。

実験結果

リサーチクエスチョン

• RQ1 限られた参加者数と高いクラス不均衡を示す小さなモバイルセンシングデータセットにおいて、自己教師あり事前学習がインフルエンザおよびCOVID-19の予測性能を向上させることができるか？
• RQ2 インフルエンザ関連データで事前学習した表現を用いて、インフルエンザとは異なる新疾患（例：COVID-19）のゼロショット予測を転移学習がどの程度効果的に可能にするか？
• RQ3 欠損データのモデリングと長距離依存関係の捉え込みが、現実世界のモバイルセンシングシナリオにおけるモデル性能にどの程度寄与するか？
• RQ4 統合された深層学習フレームワークは、ウェアラブルデバイスからの小さな長期間多変量時系列データに対して、XGBoostのような従来のモデルを上回る性能を示せるか？

主な発見

• 提案モデルは、5つのインフルエンザ予測タスクにおいて、一般的なベースラインと比較して最大0.15のROC AUC向上を達成し、顕著な性能向上を示している。
• 小規模データ環境において、転移学習によりPR AUCが16%向上し、データが限られる状況下での価値が顕著に示された。
• 独立したデータセットにおいて、ゼロショットCOVID-19予測で0.68のROC AUCを達成し、XGBoost（0.51のROC AUC）を上回った。これは、疾患間での効果的な転移が可能であることを示している。
• 「ドメインインスパイアドフィーチャー」自己教師あり事前学習タスクが最も優れた性能を示し、ドメイン知識を統合することで表現学習が向上することを示している。
• 欠損データのパターンをモデル化することで、単純な補完や除外戦略と比較して、ロバスト性と性能が顕著に向上した。
• 複数のタスクを同時に分析し、極端なクラス不均衡を考慮することで、評価フレームワークは統計的不確実性を効果的に低減し、現実世界の性能の過大評価を防止した。