[논문 리뷰] Transformer Encoder with Multiscale Deep Learning for Pain Classification Using Physiological Signals

Zhenyuan Lu, Burcu Ozek외 1명|PubMed|2023. 03. 13.

Pain Mechanisms and Treatments참고 문헌 74인용 수 5

한 줄 요약

이 논문은 전기피부반응(EDA) 신호를 사용한 자동 통증 강도 분류를 위한 다중스케일 컨볼루션 네트워크와 압축-확장 잔차 블록을 갖춘 새로운 트랜스포머-에코더 모델인 PainAttnNet을 제안한다. 이 모델은 상태기반 성능을 달성하였으며, 통증 없음 대 비견할 수 없을 정도로 심한 통증을 분류할 때 85.34%의 정확도를 기록하여 중요한 통증 수준을 구분하는 데 있어 뛰어난 시간적 특징 학습 능력과 강건성을 입증하였다.

ABSTRACT

Pain, a pervasive global health concern, affects a large segment of population worldwide. Accurate pain assessment remains a challenge due to the limitations of conventional self-report scales, which often yield inconsistent results and are susceptible to bias. Recognizing this gap, our study introduces PainAttnNet, a novel deep-learning model designed for precise pain intensity classification using physiological signals. We investigate whether PainAttnNet would outperform existing models in capturing temporal dependencies. The model integrates multiscale convolutional networks, squeeze-and-excitation residual networks, and a transformer encoder block. This integration is pivotal for extracting robust features across multiple time windows, emphasizing feature interdependencies, and enhancing temporal dependency analysis. Evaluation of PainAttnNet on the BioVid heat pain dataset confirm the model's superior performance over the existing models. The results establish PainAttnNet as a promising tool for automating and refining pain assessments. Our research not only introduces a novel computational approach but also sets the stage for more individualized and accurate pain assessment and management in the future.

연구 동기 및 목표

• 주관적인 자가 보고 척도의 한계를 극복하기 위해 생리적 신호를 이용한 객관적이고 자동화된 통증 강도 분류 방법을 개발하는 것.
• 유아나 인지 기능이 손상된 환자와 같이 자가 보고가 신뢰할 수 없는 인구 집단에서 미세한 통증과 심한 통증 수준을 분류하는 데 도전하는 것.
• 웨어러블 EDA 센서와 딥러닝을 활용해 통증 심각도를 정밀하고 실시간으로 평가할 수 있도록 임상적 통증 관리 개선을 위한 것.
• 다양한 시간적 특징 추출 기법과 자기 어텐션 메커니즘을 통합하여 EDA 기반 통증 분류에서 표현 학습 능력을 향상시키는 것.

제안 방법

• 모델은 EDA 신호에서 단기 및 장기 윈도우 시간적 특징을 추출하기 위해 다중스케일 컨볼루션 네트워크(MSCN)를 활용한다.
• 채널 간 상호의존성을 모델링하고 관련 생리적 패턴을 강조함으로써 특징 맵을 재조정하기 위해 압축-확장 잔차 네트워크(SEResNet)를 사용한다.
• 세 개의 시간적 컨볼루션 네트워크(TCN)와 세 개의 멀티헤드 어텐션(MHA) 레이어를 갖춘 트랜스포머 인코더는 추출된 특징 내 장거리 시간적 의존성을 포착한다.
• MSCN 및 SEResNet에서 유도된 계층적 특징 학습과 자기 어텐션 메커니즘을 통합하여 시간 시리즈 EDA 데이터의 동적 관계를 모델링한다.
• 모델는 교차 엔트로피 손실을 사용하고 AdamW 최적화 기법과 학습률 스케줄링을 적용하여 BioVid 데이터셋에서 엔드 투 엔드로 훈련된다.
• 이 프레임워크는 이진 분류(통증 없음 대 모든 통증) 및 다수의 통증 강도 수준 분류와 같은 다양한 분류 작업을 지원한다.

실험 결과

연구 질문

• RQ1 다중스케일 컨볼루션, 어텐션 메커니즘, 잔차 학습을 융합한 하이브리드 딥러닝 아키텍처가 EDA 기반 통증 강도 분류의 정확도를 향상시킬 수 있는가?
• RQ2 최신 기술 대비 제안된 PainAttnNet 모델은 통증 없음 대 심한 통증(예: 거의 견딜 수 없는 통증)을 얼마나 잘 구분하는가?
• RQ3 시간적 컨볼루션 네트워크와 멀티헤드 어텐션의 통합이 EDA 신호의 순차적 의존성 모델링에 얼마나 기여하는가?
• RQ4 특히 통증 없음 대 고강도 또는 심한 통증과 같은 임상적으로 중요한 구분에서 모델은 다양한 통증 강도 수준에서 높은 성능을 유지하는가?

주요 결과

• PainAttnNet은 가장 도전적인 과제인 통증 없음(T₀) 대 거의 견딜 수 없는 통증(T₄)을 분류할 때 85.34%의 정확도, 85.27%의 매크로 F1 스코어, 0.70의 Cohen Kappa를 기록하였다.
• 모델은 BioVid 데이터셋에서 모든 최신 기술적 접근 방식을 능가하였으며, 특히 통증 없음 대 고강도 및 심한 통증 수준을 분류하는 데 뛰어난 성능을 보였다.
• 통증 없음 대 모든 통증(T₀ 대 T₁–T₄)을 분류하는 이진 과제에서는 80.87%의 정확도를 달성하였지만, 성능은 낮았으며(Cohen Kappa = 0.09), 일반적인 이진 분리 과제에서의 도전 과제를 시사하였다.
• 통증 없음 대 중간 강도 통증(T₀ 대 T₂)을 분류하는 과제에서는 PainAttnNet이 68.82%의 정확도를 기록하여 기존 최고 성능 모델(68.39%)을 약간 앞서갔다.
• 모델는 특히 미세하지만 임상적으로 중요한 통증 수준을 구분하는 데 있어 다중 클래스 통증 강도 분류에서 뛰어난 성능을 보였다.
• 모듈 구성 요소의 아블레이션 분석을 통해 MSCN, SEResNet 및 트랜스포머 기반 어텐션의 통합이 특징 표현 및 분류 정확도를 크게 향상시켰음을 확인하였다.