[論文レビュー] Evaluating Contrastive Learning on Wearable Timeseries for Downstream Clinical Outcomes

Kevalee Shah, Dimitris Spathis+2 more|arXiv (Cornell University)|Nov 13, 2021

Machine Learning in Healthcare被引用数 4

ひとこと要約

本論文は、下流の臨床分類タスクにおけるウェアラブル時系列データに対する対照的自己教師あり学習（SimCLR および BYOL）の評価を行い、時系列信号に適したデータ拡張法とアーキテクチャの適応を試みた。実験の結果、SimCLR はほとんどの疾患予測タスクにおいて、完全に教師ありおよび敵対的非教師あり手法を上回ることを示し、未ラベルのウェアラブルデータから臨床的表現を学習するための強力な手法であることを確立した。

ABSTRACT

Vast quantities of person-generated health data (wearables) are collected but the process of annotating to feed to machine learning models is impractical. This paper discusses ways in which self-supervised approaches that use contrastive losses, such as SimCLR and BYOL, previously applied to the vision domain, can be applied to high-dimensional health signals for downstream classification tasks of various diseases spanning sleep, heart, and metabolic conditions. To this end, we adapt the data augmentation step and the overall architecture to suit the temporal nature of the data (wearable traces) and evaluate on 5 downstream tasks by comparing other state-of-the-art methods including supervised learning and an adversarial unsupervised representation learning method. We show that SimCLR outperforms the adversarial method and a fully-supervised method in the majority of the downstream evaluation tasks, and that all self-supervised methods outperform the fully-supervised methods. This work provides a comprehensive benchmark for contrastive methods applied to the wearable time-series domain, showing the promise of task-agnostic representations for downstream clinical outcomes.

研究の動機と目的

• 対照的自己教師あり学習が、ラベルなしのウェアラブル時系列データから意味のある表現を抽出できるかどうかを調査すること。
• 視覚ベースの対照的手法（SimCLR および BYOL）をウェアラブル健康信号の時間的性質に適応させること。
• 実世界の臨床分類タスクにおいて、これらの手法を完全に教師ありおよび敵対的非教師ありアプローチと比較してベンチマークすること。
• 睡眠時無呼吸症候群、糖尿病、高血圧、代謝症候群、不眠症を含む多様な疾患状態における性能評価を行うこと。

提案手法

• 時間の逆転、セグメントシャッフル、ノイズ追加、スケーリングなどのドメイン固有のデータ拡張法を考案し、時系列データに適した SimCLR および BYOL フレームワークを設計した。
• 同じ時系列信号の拡張ビューから不変表現を学ぶために、共有エンコーダ重みを持つ二本のブランチを持つニューラルネットワークアーキテクチャを採用した。
• 対照的損失を適用し、同一信号の拡張ビュー（ポジティブペア）を埋め込み空間で近づけ、異なる信号からのもの（ネガティブペア）を遠ざけた。
• 下流の疾患分類のために、凍結された表現に線形分類ヘッドを適用し、F1-macro および F1-micro メトリクスで評価した。
• 対照的学習性能を最適化するため、ウィンドウサイズを 512 タイムステップ、バッチサイズを 1024 に設定した。
• 先行研究から得られた完全に教師あり CNN および敵対的非教師あり手法（day2vec）と結果を比較した。

実験結果

リサーチクエスチョン

• RQ1 対照的自己教師あり学習は、ラベルなしのウェアラブル時系列データから臨床的に関連する表現を抽出できるか？
• RQ2 睡眠、心臓、代謝疾患の分類タスクにおいて、SimCLR および BYOL は完全に教師ありおよび敵対的非教師あり手法と比べてどのように性能を発揮するか？
• RQ3 データ拡張戦略の選択が、ウェアラブル時系列分野における学習済み表現の質に顕著な影響を与えるか？
• RQ4 多様な臨床状態において、自己教師あり手法が完全に教師ありベースラインを一貫して上回る性能優位性を示すか？
• RQ5 評価指標（マクロ F1 対 マイクロ F1）の選択が、不均衡な臨床データセットにおけるモデル性能の解釈にどのように影響するか？

主な発見

• SimCLR は、睡眠時無呼吸症候群、代謝症候群、高血圧を含む 5 つの下流分類タスクのうち 4 つで、BYOL や敵対的 day2vec 手法を上回った。
• 本研究で新たに取り組んだ代謝症候群分類タスクにおいて、SimCLR は最高の F1-macro スコアを達成し、新しい臨床状態への汎化能力が優れていることを示した。
• 高血圧分類においては BYOL が F1-micro スコアで最高を記録したが、SimCLR は F1-macro スコアでリードし、評価指標の選択がモデル比較に与える影響を浮き彫りにした。
• SimCLR および BYOL は、すべてのタスクで完全に教師あり CNN ベースラインを上回った。これは、ラベルが限られた臨床データにおいて自己教師あり事前学習の利点があることを示している。
• 結果から、後続タスクのデータに同じく訓練された完全に教師ありモデルですら、自己教師あり表現がそれを上回ることを示しており、より豊かな特徴学習が可能であると示唆している。
• 本研究は、ウェアラブル時系列データにおける対照的学習のベンチマークを確立し、タスクに依存しない表現が多様な臨床的アウトカムに有効であることを示した。