[논문 리뷰] BIOT: Cross-data Biosignal Learning in the Wild

Chaoqi Yang, M. Brandon Westover외 1명|arXiv (Cornell University)|2023. 05. 10.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 다양한 데이터셋 간에 채널이 맞지 않거나 길이가 다를 뿐만 아니라 결측치가 있는 생체신호를 다룰 수 있도록 고정 길이의 세그먼트로 각 신호 채널을 토큰화하고 이를 통합된 '생체신호 문장'으로 평탄화함으로써 교차 데이터 생체신호 학습을 가능하게 하는 Biosignal Transformer 모델인 BIOT을 제안한다. 이 모델은 사전 훈련된 이질적인 생체신호 데이터 기반의 전이 학습을 통해 간질 탐지 작업에서 균형 정확도를 최대 4% 향상시키며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Biological signals, such as electroencephalograms (EEG), play a crucial role in numerous clinical applications, exhibiting diverse data formats and quality profiles. Current deep learning models for biosignals are typically specialized for specific datasets and clinical settings, limiting their broader applicability. Motivated by the success of large language models in text processing, we explore the development of foundational models that are trained from multiple data sources and can be fine-tuned on different downstream biosignal tasks. To overcome the unique challenges associated with biosignals of various formats, such as mismatched channels, variable sample lengths, and prevalent missing values, we propose a Biosignal Transformer (\method). The proposed \method model can enable cross-data learning with mismatched channels, variable lengths, and missing values by tokenizing diverse biosignals into unified "biosignal sentences". Specifically, we tokenize each channel into fixed-length segments containing local signal features, flattening them to form consistent "sentences". Channel embeddings and {\em relative} position embeddings are added to preserve spatio-temporal features. The \method model is versatile and applicable to various biosignal learning settings across different datasets, including joint pre-training for larger models. Comprehensive evaluations on EEG, electrocardiogram (ECG), and human activity sensory signals demonstrate that \method outperforms robust baselines in common settings and facilitates learning across multiple datasets with different formats. Use CHB-MIT seizure detection task as an example, our vanilla \method model shows 3\% improvement over baselines in balanced accuracy, and the pre-trained \method models (optimized from other data sources) can further bring up to 4\% improvements.

연구 동기 및 목표

• 불일치하는 형식(채널 수 불일치, 길이 변동, 결측치 포함)을 가진 생체신호에서 딥 러닝 모델을 훈련하는 데 도전하는 것.
• 광범위한 생체신호 데이터셋 간 지식 전이를 가능하게 하는 통합적이고 유연한 프레임워크를 개발하는 것.
• 다양한 생체신호 원천(예: EEG, ECG)을 동시에 사전 훈련하여 최종 임상 작업을 위한 기초 모델을 구축할 수 있는지 탐색하는 것.
• 비지도 및 지도 학습 기반 사전 훈련 전략이 최종 생체신호 분류 성능 향상에 미치는 영향을 평가하는 것.
• 단일 모델 아키텍처가 최소한의 미세조정으로도 여러 생체신호 모odalities와 임상 작업에 일반화될 수 있는지 입증하는 것.

제안 방법

• BIOT는 각 채널을 고정 길이의 시간 세그먼트로 분할하고 국소 신호 특징을 추출하여 일관된 '생체신호 문장'을 형성하는 새로운 생체신호 토큰화 모듈을 도입한다.
• 공간적(채널 간) 및 시간적(세그먼트 간) 관계를 유지하기 위해 채널 임베딩과 상대적 위치 임베딩을 적용한다.
• 모델은 평탄화된 토큰화된 생체신호 시퀀스를 처리하기 위해 표준 Transformer 인코더를 사용하여 공간(채널) 및 시간(세그먼트) 차원 모두에서 어텐션을 수행한다.
• 채널 수나 지속 시간에 관계없이 모든 입력을 토큰 시퀀스로 간주함으로써 다양한 형식의 데이터셋 간에 공동 사전 훈련을 지원한다.
• 대규모 비라벨 생체신호 데이터 기반의 대비 학습 목표를 사용하여 사전 훈련을 수행한 후, 최종 분류 작업에 대해 미세조정을 수행한다.
• 모델은 지도 학습 및 자기지도 학습 기반 사전 훈련을 모두 지원하여 EEG, ECG, 활동 모니터링 신호 등 다양한 데이터 원천에서의 전이 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 채널 수, 샘플링 속도, 길이가 다를 수 있는 매우 다양한 형식의 생체신호를 효과적으로 인코딩할 수 있는 단일 딥 러닝 모델이 존재하는가?
• RQ2 채널 수나 기록 지속 시간이 다른 데이터셋 간에 지식 전이가 얼마나 가능할까?
• RQ3 다양한 이질적인 생체신호 데이터셋을 동시에 사전 훈련하면 개별 데이터셋에서 훈련하는 것보다 최종 성능 향상이 이루어지는가?
• RQ4 사전 훈련 데이터의 선택(크기, 모odaliti, 형식 등)이 최종 작업에 대한 미세조정 성능에 어떤 영향을 미치는가?
• RQ5 대규모 비라벨 생체신호에서 자기지도 학습 기반 사전 훈련이 더 작은, 작업에 특화된 지도 학습 데이터 기반 사전 훈련보다 성능이 뛰어나게 되는가?

주요 결과

• 기본 BIOT 모델은 CHB-MIT 간질 탐지 작업에서 강력한 베이스라인 대비 균형 정확도 3% 향상.
• 최종 작업에 대해 미세조정된 사전 훈련된 BIOT 모델은 비사전 훈련 베이스라인 대비 균형 정확도 최대 4% 향상.
• 500만 개의 PREST 및 500만 개의 SHHS EEG 샘플을 공동 사전 훈련한 PREST+SHHS 모델은 사전 훈련 없이 훈련하는 것보다 최종 EEG 작업에서 성능이 크게 향상.
• 12단계 ECG 데이터 코퍼스(12-lead ECG)에서의 사전 훈련은 6단계 ECG 데이터 코퍼스(Cardiology-6)에서의 사전 훈련보다 성능이 뛰어나 더 많은 데이터를 사용하는 것이 유리함을 보여줌.
• 간질 관련 데이터셋(예: IIIC Seizure, TUAB)에서의 지도 학습 기반 사전 훈련은 수면 또는 휴식 상태 EEG 데이터에서의 비지도 사전 훈련보다 TUEV 간질 탐지 작업에서 더 높은 성능을 달성.
• 6개의 EEG 데이터셋(6 EEG datasets)에서 사전 훈련된 모델은 비지도 및 지도 학습 기반 사전 훈련된 변종보다 성능이 뛰어나, 종합적인 다중 원천 사전 훈련의 이점이 입증됨.