[論文レビュー] Large-scale Training of Foundation Models for Wearable Biosignals

Salar Abbaspourazad, Oussama Elachqar+4 more|arXiv (Cornell University)|Dec 8, 2023

Mobile Health and mHealth Applications被引用数 20

ひとこと要約

著者らは Apple Heart and Movement Study からの大規模な未ラベル PPG および ECG データに対して、参加者レベルのポジティブを用いた自己教師あり学習で基盤モデルを事前学習し、人口統計情報と健康情報をエンコードする埋め込みを示し、PPG と ECG で有用性が異なることを示した。

ABSTRACT

Tracking biosignals is crucial for monitoring wellness and preempting the development of severe medical conditions. Today, wearable devices can conveniently record various biosignals, creating the opportunity to monitor health status without disruption to one's daily routine. Despite widespread use of wearable devices and existing digital biomarkers, the absence of curated data with annotated medical labels hinders the development of new biomarkers to measure common health conditions. In fact, medical datasets are usually small in comparison to other domains, which is an obstacle for developing neural network models for biosignals. To address this challenge, we have employed self-supervised learning using the unlabeled sensor data collected under informed consent from the large longitudinal Apple Heart and Movement Study (AHMS) to train foundation models for two common biosignals: photoplethysmography (PPG) and electrocardiogram (ECG) recorded on Apple Watch. We curated PPG and ECG datasets from AHMS that include data from ~141K participants spanning ~3 years. Our self-supervised learning framework includes participant level positive pair selection, stochastic augmentation module and a regularized contrastive loss optimized with momentum training, and generalizes well to both PPG and ECG modalities. We show that the pre-trained foundation models readily encode information regarding participants' demographics and health conditions. To the best of our knowledge, this is the first study that builds foundation models using large-scale PPG and ECG data collected via wearable consumer devices $\unicode{x2013}$ prior works have commonly used smaller-size datasets collected in clinical and experimental settings. We believe PPG and ECG foundation models can enhance future wearable devices by reducing the reliance on labeled data and hold the potential to help the users improve their health.

研究の動機と目的

• 堅牢なモデル開発のための大規模で注釈付きバイオ信号データセットの不足に対処する。
• ウェアラブルデバイスからの大規模な未ラベル PPG および ECG データで基盤モデルを訓練する。
• 参加者レベルの埋め込みが人口統計情報と健康状態について何を示すかを調査する。
• 自己教師あり学習技術とデータ拡張戦略がバイオ信号表現に与える影響を評価する。

提案手法

• InfoNCE と KoLeo 正則化を用いた対比的自己教師あり学習で埋め込みを学習する。
• 同一参加者の異なるセグメントから陽性ペアを生成する確率的な参加者レベルの拡張モジュールを採用する。
• エンコーダと射影ヘッドにモメンタム学習を適用して表現を安定化させる。
• EfficientNetベースの1Dエンコーダ（256次元埋め込み）とSSL損失のための128次元射影ヘッドを使用する。
• Apple Watch で収集された ~20M PPG セグメントは 141k 名の参加者、 ~3.75M ECG セグメントは 106k 名の参加者を用いて事前学習。
• 埋め込みにエンコードされた情報を評価するために、下流の人口統計および健康関連ターゲットに対して線形プローブを評価する。

実験結果

リサーチクエスチョン

• RQ1 ウェアラブル生体信号の大規模な自己教師付き事前学習は、ラベルなしで情報豊かな埋め込みを生成できるか。
• RQ2 PPG および ECG の埋め込みは、基本的な心拍情報を超えて参加者の人口統計情報や健康状態をエンコードするか。
• RQ3 このフレームワーク下で、情報内容と事前学習のダイナミクスの観点で PPG と ECG はどう異なるか。
• RQ4 陽性ペアの選択と拡張の選択が下流の性能に与える影響は何か。
• RQ5 異なるエンコーダアーキテクチャは、学習表現の質と効率にどのように影響するか。

主な発見

• PPG 埋め込みは、年齢、BMI、および生物学的性別の予測において、線形プローブでほぼ常にベースラインの人口統計特徴を上回る。
• ECG 埋め込みは健康情報をエンコードするが、下流の健康ターゲットに対する予測力は PPG 埋め込みより相対的に低い。
• 事前学習済み埋め込みには、自己申告された健康状態および薬剤の広範なセットを予測する情報が含まれている。
• 参加者レベルの陽性ペア選択は、セグメントレベルのペアリングより下流予測性能を大幅に向上させる。
• KoLeo 正則化と対比/自己教師ありフレームワークは表現の品質を高める。KoLeo を除くと下流指標が悪化する。
• 異なるエンコーダアーキテクチャは類似の性能を達成でき、1D-EfficientNet はパラメータ効率性に優れる。