[논문 리뷰] SleepFM: Multi-modal Representation Learning for Sleep Across Brain Activity, ECG and Respiratory Signals

Rahul Thapa, Bryan He외 5명|arXiv (Cornell University)|2024. 05. 28.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

SleepFM은 뇌 활동(EEG), 심전도(ECG) 및 호흡 신호에서 공동 표현을 학습하기 위해 14,000명의 참가자로부터의 10만 시간 이상의 익명 처리된 다중수면검사 데이터를 바탕으로 새로운 '하나씩 제외하는' 대비 학습 방법을 사용하는 다중모달 기초 모델이다. 수면 단계 분류(auROC 0.88 대 0.72) 및 수면 무호흡 증후군 탐지(auROC 0.85 대 0.69)에서 종단간 컨볼루션 네트워크보다 뛰어난 성능을 보이며, 일반화 능력과 다중모달 간 검색 성능이 뛰어나다.

ABSTRACT

Sleep is a complex physiological process evaluated through various modalities recording electrical brain, cardiac, and respiratory activities. We curate a large polysomnography dataset from over 14,000 participants comprising over 100,000 hours of multi-modal sleep recordings. Leveraging this extensive dataset, we developed SleepFM, the first multi-modal foundation model for sleep analysis. We show that a novel leave-one-out approach for contrastive learning significantly improves downstream task performance compared to representations from standard pairwise contrastive learning. A logistic regression model trained on SleepFM's learned embeddings outperforms an end-to-end trained convolutional neural network (CNN) on sleep stage classification (macro AUROC 0.88 vs 0.72 and macro AUPRC 0.72 vs 0.48) and sleep disordered breathing detection (AUROC 0.85 vs 0.69 and AUPRC 0.77 vs 0.61). Notably, the learned embeddings achieve 48% top-1 average accuracy in retrieving the corresponding recording clips of other modalities from 90,000 candidates. This work demonstrates the value of holistic multi-modal sleep modeling to fully capture the richness of sleep recordings. SleepFM is open source and available at https://github.com/rthapa84/sleepfm-codebase.

연구 동기 및 목표

• 뇌 활동, ECG 및 호흡 신호를 통합하여 통합적인 생리학적 역학을 포착하는 수면 분석을 위한 다중모달 기초 모델을 개발한다.
• 표준 대비 학습과는 다름없이, 새로운 '하나씩 제외하는' 대비 학습 프레임워크를 도입하여 수면 데이터의 표현 학습을 향상시키고, 후속 작업 성능을 향상시킨다.
• 다양한 임상 기관 및 데이터 수집 프로토콜 간에 학습된 표현의 일반화 능력을 입증한다.
• 대규모 익명 처리된 다중수면검사 데이터를 활용해 수면의학 분야에서 자기지도 학습 기반의 다중모달 학습에 기준을 설정한다.
• 오픈소스 코드 배포 및 의료 AI 분야의 윤리 기준 준수를 통해 보다 넓은 임상 적용 가능성을 확보한다.

제안 방법

• 모델는 새로운 '하나씩 제외하는' 대비 학습 목표를 사용하여 사전 훈련되며, 한 번에 하나의 모odal이 마스킹되어 다중모달 간 정렬 및 통합 표현 학습을 장려한다.
• 비교를 위한 기준선으로 표준 쌍대비 학습이 사용되며, 동일 샘플의 변형을 통해 다중모달 간 양성 쌍을 형성한다.
• 모델는 시아미즈 인코더 아키텍처를 활용하여 뇌기록 신호(BAS), ECG 및 호흡 신호를 공통 잠재 공간에 통합한다.
• 사전 훈련은 스탠포드 수면 클리닉에서 확보한 14,000명의 참가자와 10만 시간 이상의 다중모달 수면 기록 데이터셋을 기반으로 수행된다.
• 후속 작업으로는 수면 단계 분류, SDB 탐지, 인구통계적 특성 예측, 그리고 학습된 임bedding에 로지스틱 회귀를 적용한 다중모달 간 검색이 포함된다.
• 외부 검증은 별도의 CinC 챌린지 데이터셋을 활용하여, 다양한 기관 및 데이터 수집 프로토콜 간의 일반화 능력을 평가한다.

Figure 1 : Overview of SleepFM pre-training with CL. We experiment with two types of pre-training: standard pairwise CL where we contrast embeddings from each pair of modalities separately, and our novel leave-one-out CL where we contrast the embedding of each modality against the average embedding

실험 결과

연구 질문

• RQ1 뇌 활동, ECG 및 호흡 신호에서 학습된 다중모달 기초 모델이 표준 대비 학습 대비 수면 분석을 위한 표현 학습을 향상시킬 수 있는가?
• RQ2 제안된 '하나씩 제외하는' 대비 학습 접근법이 수면 단계 분류 및 SDB 탐지에서 쌍대비 학습보다 더 나은 후속 작업 성능을 보일 수 있는가?
• RQ3 학습된 임bedding이 다른 데이터 수집 프로토콜과 모달 간격을 가진 외부 데이터셋으로 일반화되는 정도는 어느 정도인가?
• RQ4 예를 들어 EEG 임bedding에서 해당되는 ECG 클립을 검색하는 다중모달 간 검색에서 모델의 효율성은 어떠한가?
• RQ5 기초 모델이 임상적으로 관련성이 있는 수면 작업에서 종단간 훈련된 딥 네트워크보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• SleepFM은 수면 단계 분류에서 매크로 평균 auROC 0.88을 기록하여 종단간 컨볼루션 네트워크(auROC 0.72)를 뛰어넘었다.
• 수면 무호흡 증후군 탐지에서 SleepFM은 auROC 0.85를 기록하였고, 컨볼루션 네트워크 기준선 대비 0.69보다 높았다.
• 90,000개의 후보에서 다중모달 간 대응 기록 클립을 검색하는 데 48%의 top-1 평균 정확도를 달성하여 강력한 다중모달 정렬 능력을 입증했다.
• '하나씩 제외하는' 대비 학습 접근법은 모든 후속 작업에서 쌍대비 학습을 능가하여 다중모달 신호의 통합이 더 우수하다는 것을 시사했다.
• CinC 데이터셋에서의 외부 검증 결과, SleepFM은 auROC 0.924, AUPRC 0.759를 기록하였고, 컨볼루션 네트워크 대비 각각 0.843과 0.553을 기록하여 강력한 일반화 능력을 입증했다.
• 모델는 다양한 인구통계적 집단에서 뛰어난 성능을 보였으며, 훈련 및 테스트 기관 간 EEG 채널 구성의 차이에도 불구하고 잘 일반화되었다.

(a) Sleep Stages AUROC