[논문 리뷰] A Deep Learning Approach with an Attention Mechanism for Automatic Sleep Stage Classification

Martin Längkvist, Amy Loutfi|arXiv (Cornell University)|2018. 05. 14.

Speech Recognition and Synthesis참고 문헌 1인용 수 11

한 줄 요약

이 논문은 수면 단계 분류를 위한 다중수면도(PSG) 데이터로부터 맥락 인식 특징 표현을 학습하기 위해 희박 자동에코더(SAE)와 통합된 선택적 주의 메커니즘을 제안한다. 학습 중 현재 수면 단계에 대한 관련성에 따라 입력 특징을 동적으로 가중함으로써 차원 감소를 피하면서 표현 학습을 향상시키며, 25명의 환자로 구성된 PSG 데이터셋에서 표준 자동에코더와 딥 베이지스 네트워크와 비교해 경쟁적인 성능을 달성한다.

ABSTRACT

Automatic sleep staging is a challenging problem and state-of-the-art algorithms have not yet reached satisfactory performance to be used instead of manual scoring by a sleep technician. Much research has been done to find good feature representations that extract the useful information to correctly classify each epoch into the correct sleep stage. While many useful features have been discovered, the amount of features have grown to an extent that a feature reduction step is necessary in order to avoid the curse of dimensionality. One reason for the need of such a large feature set is that many features are good for discriminating only one of the sleep stages and are less informative during other stages. This paper explores how a second feature representation over a large set of pre-defined features can be learned using an auto-encoder with a selective attention for the current sleep stage in the training batch. This selective attention allows the model to learn feature representations that focuses on the more relevant inputs without having to perform any dimensionality reduction of the input data. The performance of the proposed algorithm is evaluated on a large data set of polysomnography (PSG) night recordings of patients with sleep-disordered breathing. The performance of the auto-encoder with selective attention is compared with a regular auto-encoder and previous works using a deep belief network (DBN).

연구 동기 및 목표

• 자동 수면 단계 분류에서 고차원적이고 단계별 특징의 과제를 해결하기 위해.
• 선택적 주의 메커니즘이 사전 특징 감소 없이 수면 단계 분류에서 특징 표현 학습을 향상시킬 수 있는지 탐색하기 위해.
• 선택적 주의 메커니즘을 갖춘 자동에코더의 성능을 표준 자동에코더와 딥 베이지스 네트워크(DBN)와 평가하기 위해.
• 주의 메커니즘이 각 수면 단계에서 관련 특징에 모델의 집중을 향상시켜 분류의 강건성을 높일 수 있는지 조사하기 위해.

제안 방법

• 28개의 초당 사전 추출된 PSG 특징에서 압축 표현을 학습하기 위해 희박 자동에코더(SAE)를 사용한다.
• 학습 배치에서 현재 수면 단계에 따라 재구성 오차를 동적으로 가중하기 위해 주의 메커니즘을 적용한다.
• 주의 메커니즘은 관련성이 낮은 특징의 손실 기여도를 줄여, 현재 단계에 정보가 많은 입력에 모델이 집중할 수 있도록 한다.
• 모델은 시그모이드 활성화 함수를 사용하며, L2 가중치 감소와 KL 발산 기반의 희박성 정규화를 포함한다.
• 시간적 의존성을 모델링하기 위해 SAE와 장기 단기 기억(LSTM) 네트워크를 결합한 아키텍처를 사용한다.
• 초기화 파라미터(λ, β, ρ)는 재구성 오차, 가중치 감소, 희박성의 균형을 맞추기 위해 무작위 그리드 서치를 통해 튜닝된다.

실험 결과

연구 질문

• RQ1 선택적 주의 메커니즘이 차원 감소 없이 자동 수면 단계 분류에서 특징 표현 학습을 향상시킬 수 있는가?
• RQ2 선택적 주의 메커니즘을 갖춘 자동에코더의 성능은 표준 자동에코더와 딥 베이지스 네트워크(DBN)와 비교해 어떻게 되는가?
• RQ3 특징에 대한 주의 기반 가중치 부여가 특정 단계에서만 정보가 되는 특징의 분류 성능 향상에 기여하는가?
• RQ4 수동적인 특징 선택이나 정제 없이도 모델이 단계별 특징 관련성을 효과적으로 학습할 수 있는가?

주요 결과

• 선택적 주의 메커니즘을 갖춘 자동에코더는 25명의 환자로 구성된 PSG 데이터셋에서 표준 자동에코더보다 수면 단계 분류 정확도에서 뛰어난 성능을 보였다.
• 이전의 딥 베이지스 네트워크(DBN)를 사용한 연구들과 비교해 경쟁적인 성능을 달성하며, 주의 기반 표현 학습의 효과성을 입증했다.
• EEG 스펙트럼 평균, 프랙탈 지수, EMG 중앙값/엔트로피 등의 특징은 각각 SWS, W, REM 단계에서 강력한 분류 능력을 보였다.
• 주의 메커니즘이 학습 중 관련성이 낮은 특징의 영향을 효과적으로 줄여, 단계별로 정보가 많은 입력에 모델이 집중할 수 있도록 했다.
• 높은 재구성 품질을 유지하면서도 더 맥락에 민감한 표현을 학습함으로써 일반화 잠재력 향상 가능성을 시사했다.