[논문 리뷰] Sensor Fusion using Backward Shortcut Connections for Sleep Apnea Detection in Multi-Modal Data

Tom Van Steenkiste, Dirk Deschrijver외 1명|arXiv (Cornell University)|2019. 12. 14.

Obstructive Sleep Apnea Research참고 문헌 26인용 수 12

한 줄 요약

이 논문은 다중 모odal한 호흡, 심전도 및 산소포화도 신호에서 딥러닝 기반 수면 무호흡증 검출을 향상시키기 위해 후방 단절 연결(BFM-SC)을 사용하는 새로운 후기 센서 융합 방법을 제안한다. 후기 융합 레이어에서 개별 센서 브랜치로의 잔차 기울기 흐름을 가능하게 함으로써, BFM-SC는 단일 센서, 조기 융합 및 표준 후기 융합 방법에 비해 모델 성능과 내구성을 크게 향상시킨다. CNN 및 LSTM 아키텍처를 모두 사용하여 SHHS-1 데이터셋에서 최신 기준 AUC 및 F1 스코어를 달성한다.

ABSTRACT

Sleep apnea is a common respiratory disorder characterized by breathing pauses during the night. Consequences of untreated sleep apnea can be severe. Still, many people remain undiagnosed due to shortages of hospital beds and trained sleep technicians. To assist in the diagnosis process, automated detection methods are being developed. Recent works have demonstrated that deep learning models can extract useful information from raw respiratory data and that such models can be used as a robust sleep apnea detector. However, trained sleep technicians take into account multiple sensor signals when annotating sleep recordings instead of relying on a single respiratory estimate. To improve the predictive performance and reliability of the models, early and late sensor fusion methods are explored in this work. In addition, a novel late sensor fusion method is proposed which uses backward shortcut connections to improve the learning of the first stages of the models. The performance of these fusion methods is analyzed using CNN as well as LSTM deep learning base-models. The results demonstrate a significant and consistent improvement in predictive performance over the single sensor methods and over the other explored sensor fusion methods, by using the proposed sensor fusion method with backward shortcut connections.

연구 동기 및 목표

• 수면 기록사 부족 및 진단 대기 시간이 긴 문제로 인해 진단되지 않은 수면 무호흡증의 임상적 과제를 해결하기 위해.
• 단일 센서 모델을 초월해 복수의 생리적 신호—복부 및 산소포화도 벨트, 심박수, SpO2—를 융합하여 자동 수면 무호흡증 검출을 향상시키기 위해.
• 후기 융합 아키텍처에서 후방 단절 연결을 사용하여 학습을 향상시키는 새로운 센서 융합 프레임워크를 개발하기 위해.
• 다양한 아키텍처에서의 안정적인 성능을 확보하기 위해 CNN 및 LSTM 딥러닝 모델을 대상으로 제안된 방법을 검증하기 위해.
• 잔차 연결을 통해 각 센서 성능 모니터링이 가능한 해석 가능성 향상 기능을 제공하기 위해.

제안 방법

• 각 센서 신호가 별도의 브랜치 네트워크로 처리된 후 최종 레이어에서 특징 융합되는 후기 융합 아키텍처를 제안한다.
• 최종 융합 레이어에서 각 센서 브랜치의 최초 레이어로 기울기가 되돌아가도록 후방 단절 연결(BFM-SC)을 도입하여 학습 안정성 및 특징 학습을 향상시킨다.
• 학습 중에 활성화되는 잔차 스킵 연결을 사용하며, 추론 시에는 제거 가능하여 모델의 해석 가능성 유지한다.
• CNN 기반 모델에서는 글로벌 평균 풀링(GAP) 및 드롭아웃 레이어를, LSTM 기반 모델에서는 양방향 LSTM 레이어를 사용하여 시간적 특징 추출을 수행한다.
• 비교를 위해 동일한 모델 아키텍처를 사용하되 입력 융합 전략만 다른 조기 융합(MIM) 및 단일 입력 모델(SIM)을 베이스라인으로 사용한다.
• 다섯 개의 겹치지 않는 데이터셋에서 성능 및 내구성 향상 여부를 통계적으로 검증하기 위해 대응 t-검정 및 이방산 t-검정을 적용한다.

실험 결과

연구 질문

• RQ1 후기 융합 아키텍처에서 후방 단절 연결이 다중 모달 생리적 신호에서 수면 무호흡증 검출을 위한 딥러닝 모델의 예측 성능을 유의하게 향상시킬 수 있는가?
• RQ2 제안된 BFM-SC 방법은 단일 센서 모델, 조기 융합 및 표준 후기 융합 방법에 비해 성능 및 내구성 측면에서 어떻게 비교되는가?
• RQ3 후방 단절 연결이 각 센서 성능 모니터링을 가능하게 함으로써 모델의 해석 가능성은 어느 정도 향상되는가?
• RQ4 BFM-SC 방법은 CNN 및 LSTM과 같은 다양한 딥러닝 아키텍처에서도 일관된 향상을 유지하는가?
• RQ5 다양한 수면 무호흡증 데이터셋 및 다중 센서 구성에 적용했을 때 BFM-SC 접근법은 얼마나 일반화 가능한가?

주요 결과

• BFM-SC 방법은 CNN 및 LSTM 모델 모두에서 단일 입력 모델(SIM), 조기 융합(MIM), 표준 후기 융합(BFM)을 포함한 모든 기준 모델 대비 통계적으로 유의미한 성능 향상(p < 0.05)을 달성했다.
• CNN 기반 모델에서 BFM-SC는 AUC 0.938과 F1 스코어 0.812를 기록했으며, 최고의 SIM(abdores)의 AUC 0.914와 F1 0.778를 초월했다.
• LSTM 기반 모델에서 BFM-SC는 AUC 0.941과 F1 스코어 0.821을 기록했으며, 최고의 SIM(thorres)의 AUC 0.923과 F1 0.795를 뛰어넘었다.
• 통계적 유의성 검정을 통해 BFM-SC는 다섯 개의 모든 데이터셋에서 성능(p < 0.05) 및 내구성(p < 0.05) 측면에서 일관되게 모든 기준 모델을 능가하는 것으로 확인되었다.
• BFM-SC 아키텍처의 개별 브랜치는 별도로 훈련된 SIM 모델과 유사한 성능를 달성하여 각 센서 모odal의 효과적이고 안정적인 학습이 이루어졌음을 시사한다.
• 후방 단절 연결을 통해 각 센서 예측 헤드를 제공함으로써 해석 가능한 출력을 가능하게 하여, 최종 결정에 가장 기여한 신호를 파악할 수 있었다.