[논문 리뷰] SleepPriorCL: Contrastive Representation Learning with Prior Knowledge-based Positive Mining and Adaptive Temperature for Sleep Staging

Hongjun Zhang, Jing Wang외 3명|arXiv (Cornell University)|2021. 10. 15.

EEG and Brain-Computer Interfaces참고 문헌 31인용 수 4

한 줄 요약

이 논문은 수면 단계 분류를 위한 자기지도 대비 학습 방법인 SleepPriorCL을 제안한다. 이 방법은 도메인 전문 지식을 활용하여 의미적으로 유사한 양성 샘플을 탐색하고, 표현 학습을 향상시키기 위해 적응형 온도 메커니즘을 도입한다. 제안된 방법은 기존의 자기지도 및 지도 학습 기반 베이스라인을 능가하는 최신 성능을 기록하며, 라벨이 제한된 데이터에서도 뛰어난 성능을 보인다.

ABSTRACT

The objective of this paper is to learn semantic representations for sleep stage classification from raw physiological time series. Although supervised methods have gained remarkable performance, they are limited in clinical situations due to the requirement of fully labeled data. Self-supervised learning (SSL) based on contrasting semantically similar (positive) and dissimilar (negative) pairs of samples have achieved promising success. However, existing SSL methods suffer the problem that many semantically similar positives are still uncovered and even treated as negatives. In this paper, we propose a novel SSL approach named SleepPriorCL to alleviate the above problem. Advances of our approach over existing SSL methods are two-fold: 1) by incorporating prior domain knowledge into the training regime of SSL, more semantically similar positives are discovered without accessing ground-truth labels; 2) via investigating the influence of the temperature in contrastive loss, an adaptive temperature mechanism for each sample according to prior domain knowledge is further proposed, leading to better performance. Extensive experiments demonstrate that our method achieves state-of-the-art performance and consistently outperforms baselines.

연구 동기 및 목표

• 자기지도 대비 학습에서 수면 단계 분류에 대한 샘플링 편향 문제를 해결하기 위해, 무작위 또는 히우리스틱적 음성 샘플링으로 인해 의미적으로 유사한 양성 샘플이 놓치는 문제를 해결한다.
• 지상 진실 라벨에 의존하지 않고도, 잘못된 양성 샘플이 포함되어 발생하는 성능 저하를 줄이기 위한 방법을 제시한다.
• 전문 지식을 양성 샘플 탐색에 통합하고, 적응형 온도를 통해 기울기 페널티 강도를 동적으로 조정하여 표현 학습을 향상시키기 위한 방법을 제안한다.
• 의료 라벨링 부담을 줄이기 위해 원시 EEG 신호만을 사용하고도 높은 성능의 수면 단계 분류를 가능하게 하기 위한 목표를 달성한다.

제안 방법

• 수동으로 설계된 특징(예: 파wer 스펙트럼 밀도, 차분 엔트로피 등) 기반으로 상위-K개의 가장 유사한 샘플을 검색하는 도메인 전문 지식 기반의 양성 샘플 탐색 전략을 도입한다. 이는 데이터 증강이나 시간적 이웃에 의존하지 않는다.
• 각 앵커에 대해 다수의 양성 샘플을 포함하는 대비 학습을 정식화하며, 단일 증강된 시각이 아닌 특징 유사성 기반으로 양성 집합을 구성한다.
• 각 샘플의 유사성 신뢰도에 기반해 온도 하이퍼파라미터를 설정하는 적응형 온도 메커니즘을 제안한다. 높은 신뢰도를 가진 샘플은 손실 함수에서 더 높은 가중치를 받는다.
• 특징 유사성에 기반한 학습 가능한 함수를 사용해 온도를 동적으로 조정함으로써 기울기 페널티 강도를 조절하고 모델 최적화를 향상시킨다.
• 표준 대비 손실(예: InfoNCE)을 사용하지만, 각 샘플에 대해 온도 스케줄링을 수정하여 신뢰할 수 있는 양성 샘플을 강조하고 잡음이 있는 샘플을 억제한다.
• 선형 평가 프로토콜과 제한된 라벨 데이터를 사용한 파인튜닝 환경에서 평가하여, 강인성과 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 지상 진실 라벨이 필요 없이 도메인 전문 지식을 활용해 자기지도 대비 학습에서 양성 샘플 탐색을 향상시킬 수 있는가?
• RQ2 기본 증강 또는 시간적 이웃 전략 대비 특징 기반의 유사성 기반 양성 샘플 탐색이 표현 품질에 어떤 영향을 미치는가?
• RQ3 신뢰도에 따라 온도를 동적으로 조정하는 적응형 온도 메커니즘이 기울기 페널티 강도를 조절함으로써 모델 성능을 향상시키는가?
• RQ4 소량의 라벨 데이터(예: 전체 데이터의 1%)만을 사용할 경우, SleepPriorCL로 미리 학습된 모델이 지도 학습 기반 베이스라인을 따라잡거나 능가할 수 있는가?
• RQ5 수집된 양성 샘플 수(K)와 온도의 하한·상한(τ_min, τ_max)과 같은 하이퍼파라미터에 대해 이 방법의 민감도는 어느 정도인가?

주요 결과

• SleepPriorCL은 세 가지 벤치마크 데이터셋에서 최신 성능(SOTA)을 기록했다: Sleep-EDF39 (정확도 76.44±0.83%, F1 65.56±1.32%), Sleep-EDF153 (정확도 78.11±0.43%, F1 63.60±0.80%), MASS-SS3 (정확도 80.40±0.26%, F1 70.60±0.75%).
• SimCLR, DCL, CPC, TNC, T-Loss 등의 기존 자기지도 기반 베이스라인 대비 뚜렷한 성능 향상을 보이며, 도메인 전문 지식 기반의 양성 샘플 탐색 전략의 효과를 입증한다.
• 라벨 데이터의 1%만을 사용할 경우, 미리 학습된 SleepPriorCL 인코더가 동일한 소량의 라벨 데이터로 학습된 지도 학습 모델보다 높은 정확도를 달성하여 데이터 효율성을 입증한다.
• 제거 분석 결과, 도메인 전문 지식 기반 탐색과 적응형 온도 모두 성능 향상에 기여하며, 전체 방법(Basic+Feature+Adaptive)이 가장 우수한 성능을 기록한다.
• 민감도 분석 결과, K 값 범위(0.1 ≤ R ≤ 0.4)와 온도 범위 내에서 성능가 안정적이며, 하이퍼파라미터 설정에 대한 강건성을 입증한다.
• 적응형 온도 메커니즘이 고정 온도 기반 베이스라인 대비 일관되게 성능 향상을 이끌어내며, 특히 전문 지식 기반 탐색과 조합 시 잘못된 양성 샘플의 영향을 완화하는 데 기여함을 확인한다.