[논문 리뷰] GRN-Transformer: Enhancing Motion Artifact Detection in PICU Photoplethysmogram Signals

Thanh-Dung Le, Macabiau, Clara외 3명|arXiv (Cornell University)|2023. 08. 07.

Non-Invasive Vital Sign MonitoringEngineering인용 수 3

한 줄 요약

이 논문은 소아 중환자 실사(PICU)에서의 동작 아티팩트 검출을 향상시키기 위해 게이팅드 리지드 네트워크(GRN)를 트랜스포머 아키텍처에 통합한 새로운 딥러닝 모델인 GRN-Transformer를 제안한다. 작은, 불균형한 데이터셋에서 특징 추출을 향상시키고 과적합을 완화함으로써, GRN-Transformer는 98% 정확도, 90% 정밀도, 97% 재현율, 93% F1 점수를 기록하여 표준 트랜스포머를 뛰어넘고, 준지도 및 지도 학습 기반 모델보다도 뛰어난 성능을 보였다.

ABSTRACT

This study investigates artifact detection in clinical photoplethysmogram signals using Transformer-based models. Recent findings have shown that in detecting artifacts from the Pediatric Critical Care Unit at CHU Sainte-Justine (CHUSJ), semi-supervised learning label propagation and conventional supervised machine learning (K-nearest neighbors) outperform the Transformer-based attention mechanism, particularly in limited data scenarios. However, these methods exhibit sensitivity to data volume and limited improvement with increased data availability. We propose the GRN-Transformer, an innovative model that integrates the Gated Residual Network (GRN) into the Transformer architecture to overcome these limitations. The GRN-Transformer demonstrates superior performance, achieving remarkable metrics of 98% accuracy, 90% precision, 97% recall, and 93% F1 score, clearly surpassing the Transformer's results of 95% accuracy, 85% precision, 86% recall, and 85% F1 score. By integrating the GRN, which excels at feature extraction, with the Transformer's attention mechanism, the proposed GRN-Transformer overcomes the limitations of previous methods. It achieves smoother training and validation loss, effectively mitigating overfitting and demonstrating enhanced performance in small datasets with imbalanced classes. The GRN-Transformer's potential impact on artifact detection can significantly improve the reliability and accuracy of the clinical decision support system at CHUSJ, ultimately leading to improved patient outcomes and safety. Remarkably, the proposed model stands as the pioneer in its domain, being the first of its kind to detect artifacts from PPG signals. Further research could explore its applicability to other medical domains and datasets with similar constraints.

연구 동기 및 목표

• 학습 데이터가 제한되고 클래스가 불균형한 상황에서 표준 트랜스포머가 PPG 신호에서의 동작 아티팩트 검출 성능이 떨어지는 문제를 해결하기 위해.
• 임상적 PPG 신호 분석에서 흔한 소규모 데이터 시나리오에서 모델의 강건성과 일반화 능력을 향상시키기 위해.
• 게이팅드 리지드 네트워크(GRN)를 트랜스포머 아키텍처에 통합하여 특징 학습 능력을 향상시키고 과적합을 감소시키기 위해.
• 제약된 데이터 가용성으로 인한 임상 환경에서 PPG 신호의 이진 아티팩트 검출을 위한 새로운 최고 성능 모델을 수립하기 위해.
• 특히 PPG 신호에서 아티팩트 검출을 위해 설계된 새로운 딥러닝 아키텍처를 선도적으로 개발하여 향후 임상 적용의 기반을 마련하기 위해.

제안 방법

• GRN-Transformer는 트랜스포머의 자기주목력 메커니즘과 게이팅드 리지드 네트워크(GRN)를 결합하여 특징 표현과 기울기 흐름을 향상시킨다.
• GRN은 트랜스포머 인코더 블록의 멀티헤드 주목력과 피드포워드 레이어 사이에 삽입되어 주목력 계산 이전에 입력 표현을 정교화한다.
• GRN은 학습 가능한 게이트를 사용하여 특징를 선택적으로 강조하거나 억제함으로써 모델의 표현력 향상과 소규모 데이터 환경에서의 과적합 감소를 달성한다.
• 모델는 CHU Sainte-Justine에서 확보한 임상 PICU 데이터셋에서의 이진 분류 작업(정상 PPG 파형 대 아티팩트)에 대해 지도 학습을 통해 훈련된다.
• 데이터 증강 및 클래스 균형 기법을 포함하여 PPG 신호 데이터셋의 본질적 불균형 문제를 해결한다.
• 성능 평가에는 정확도, 정밀도, 재현율, F1 점수와 같은 표준 지표를 사용하며, 다양한 훈련 데이터 비율에서 평가한다.

실험 결과

연구 질문

• RQ1 제한적이고 불균형한 데이터에서 트랜스포머 아키텍처에 게이팅드 리지드 네트워크(GRN)를 통합함으로써 PPG 신호에서의 동작 아티팩트 검출 성능 향상이 가능한가?
• RQ2 낮은 데이터 조건에서 GRN-Transformer는 표준 트랜스포머, 준지도 학습 레이블 전파, KNN 기반 방법과 비교해 정확도, 정밀도, 재현율, F1 점수 측면에서 어떻게 성능을 내는가?
• RQ3 GRN-Transformer는 더 매끄러운 훈련 및 검증 손실 곡선을 보이며, 일반화 능력 향상과 과적합 감소를 나타내는가?
• RQ4 GRN-Transformer는 PPG 신호에서 아티팩트 검출을 위해 특별히 설계된 첫 번째 모델이며, 이 분야에서 새로운 벤치마크를 설정하는가?
• RQ5 GRN은 소규모 데이터 환경에서 다양한 신경망 아키텍처(예: 트랜스포머, BiLSTM, FCNN)의 학습 능력을 얼마나 향상시키는가?

주요 결과

• GRN-Transformer는 PICU PPG 신호에서의 동작 아티팩트 검출에 대해 98% 정확도, 90% 정밀도, 97% 재현율, 93% F1 점수를 기록하였으며, 표준 트랜스포머(95% 정확도, 85% 정밀도, 86% 재현율, 85% F1 점수)를 크게 뛰어넘었다.
• GRN-Transformer는 더 매끄러운 훈련 및 검증 손실 곡선을 보이며, 특히 소규모 데이터 환경에서 과적합 감소와 일반화 능력 향상이 뚜렷하게 나타났다.
• GRN-Transformer는 제한된 레이블 데이터 조건에서도 준지도 학습 레이블 전파 및 KNN 기반 방법보다 모든 평가 지표에서 일관되게 뛰어난 성능을 보였다.
• GRN 통합은 데이터 부족과 클래스 불균형 상황에서 모든 평가 모델의 성능을 크게 향상시켰으며, 특히 트랜스포머의 경우 모델 강건성 향상에 기여함을 확인하였다.
• GRN-Transformer는 PPG 신호에서 아티팩트 검출을 위해 특별히 설계되고 검증된 첫 번째 모델로서, 임상 신호 처리 분야에 새로운 기여를 하였다.
• GRN-FCNN는 낮은 데이터 비율에서 재현율 향상을 보였고, GRN-BiLSTM는 경쟁적인 정밀도와 재현율을 기록하여, GRN 통합이 다양한 아키텍처의 성능 향상에 기여함을 시사하였다.