[論文レビュー] Lead-agnostic Self-supervised Learning for Local and Global Representations of Electrocardiogram

Jungwoo Oh, Hyunseung Chung+3 more|arXiv (Cornell University)|Mar 14, 2022

ECG Monitoring and Analysis被引用数 13

ひとこと要約

本論文は、Wav2Vec 2.0とCMSC対照学習を組み合わせることで、局所的およびグローバル表現を同時に学習する、リードに依存しない自己教師あり事前学習手法を提案する。ランダムリードマスキング（RLM）をデータ拡張戦略として導入し、任意のリード組み合わせに対する耐性を向上させ、複数のリード構成において心電図（ECG）の心律不整脈分類および患者識別タスクで最先端の性能を達成した。

ABSTRACT

In recent years, self-supervised learning methods have shown significant improvement for pre-training with unlabeled data and have proven helpful for electrocardiogram signals. However, most previous pre-training methods for electrocardiogram focused on capturing only global contextual representations. This inhibits the models from learning fruitful representation of electrocardiogram, which results in poor performance on downstream tasks. Additionally, they cannot fine-tune the model with an arbitrary set of electrocardiogram leads unless the models were pre-trained on the same set of leads. In this work, we propose an ECG pre-training method that learns both local and global contextual representations for better generalizability and performance on downstream tasks. In addition, we propose random lead masking as an ECG-specific augmentation method to make our proposed model robust to an arbitrary set of leads. Experimental results on two downstream tasks, cardiac arrhythmia classification and patient identification, show that our proposed approach outperforms other state-of-the-art methods.

研究の動機と目的

• 既存のECG自己教師あり手法がグローバルな文脈にのみ焦点を当てており、リード構成に敏感であるという限界を解消すること。
• ラベルなしECGデータから局所的およびグローバルな文脈表現を学習することで、モデルの一般化性能を向上させること。
• 新しいデータ拡張戦略「ランダムリードマスキング（RLM）」を導入し、任意の部分集合のリードで微調整が可能な仕組みを実現すること。
• 多様なリード組み合わせにおいて、心律不整脈分類や患者識別といった下流タスクで優れた性能を達成すること。

提案手法

• 局所的およびグローバルなECG表現を同時に学習するため、Wav2Vec 2.0とCMSC対照学習の目的関数を組み合わせる。
• 事前学習中にランダムリードマスキング（RLM）を適用し、リードを確率0.5でランダムにマスキングすることで、不完全なリードセットをシミュレートする。
• 局所的表現のためのマスクトークン予測を実装：マスクされた時間ステップは学習可能なマスクトークンに置き換えられ、量子化された特徴量を用いて予測される。
• 局所的表現の平均プーリングによりグローバル表現を生成し、時間的に隣接するECGセグメント間の一致を最大化する。
• 局所的対照学習損失とグローバル対照学習損失を組み合わせたマルチ対照学習損失を用いてモデルを訓練する。
• 対照学習の前段階として、生のECG信号から階層的特徴を抽出するための畳み込みエンコーダを採用する。

実験結果

リサーチクエスチョン

• RQ1 グローバル文脈にのみ焦点を当てるモデルと比較して、局所的およびグローバルECG表現の共同学習は、下流タスクの性能向上に寄与するか？
• RQ2 ランダムリードマスキング（RLM）は、任意のリード組み合わせで微調整する際のモデルの耐性を向上させるか？
• RQ3 心律不整脈分類および患者識別タスクにおいて、提案手法は最先端の自己教師ありECG事前学習手法と比較してどのように優れているか？
• RQ4 ECG固有の拡張法（例：ベースラインシフト、ノイズ）をRLMに加えることで、性能が向上するか？

主な発見

• 提案手法であるW2V+CMSC+RLMは、すべてのリード構成において、心律不整脈分類および患者識別タスクの両方で、すべての最先端ベースラインを上回った。
• PTB-XLデータセットにおいて、W2V+CMSC+RLMは心律不整脈分類でマクロF1スコア0.842を達成し、次に優れた手法より2.1ポイント高い性能を示した。
• 患者識別タスクでは、12リード設定でAUCが0.968を達成し、従来手法を著しく上回った。
• ランダムリードマスキング（RLM）は、局所的文脈を必要とする分類タスクにおいて一貫して性能を向上させたが、局所的表現学習の強化のため、識別タスクではわずかに性能が低下した。
• CMSC+RLMはCMSC単体と比較して著しく高い性能を示し、RLMが患者固有の表現を学習する能力を向上させていることを示した。
• RLMに加えてECG固有の拡張法（例：ベースラインシフト）を追加すると性能が低下したため、実世界の設定においてRLM単体がより効果的であることが示唆された。