[논문 리뷰] Accuracy Improvement for Fully Convolutional Networks via Selective Augmentation with Applications to Electrocardiogram Data

Lucas Cassiel Jacaruso|arXiv (Cornell University)|2021. 04. 25.

Time Series Analysis and Forecasting참고 문헌 78인용 수 8

한 줄 요약

이 논문은 완전 컨volution 네트워크(FCNs)를 위한 선택적 데이터 증강 방법을 제안하며, 검증 세트에서 낮은 신뢰도 예측에만 초점을 맞춰 증강함으로써 심전도 기반 심근경색 분류 성능을 향상시킨다. 이러한 낮은 신뢰도 샘플들로부터 재표본화한 세그먼트를 사용해 모델을 재학습함으로써, 기준 FCN의 82%보다 뛰어난 90%의 정확도를 달성하였으며, 최적의 성능은 신뢰도 임계값 α = 0.5에서 달성되었다.

ABSTRACT

Deep learning methods have shown suitability for time series classification in the health and medical domain, with promising results for electrocardiogram data classification. Successful identification of myocardial infarction holds life saving potential and any meaningful improvement upon deep learning models in this area is of great interest. Conventionally, data augmentation methods are applied universally to the training set when data are limited in order to ameliorate data resolution or sample size. In the method proposed in this study, data augmentation was not applied in the context of data scarcity. Instead, samples that yield low confidence predictions were selectively augmented in order to bolster the model's sensitivity to features or patterns less strongly associated with a given class. This approach was tested for improving the performance of a Fully Convolutional Network. The proposed approach achieved 90 percent accuracy for classifying myocardial infarction as opposed to 82 percent accuracy for the baseline, a marked improvement. Further, the accuracy of the proposed approach was optimal near a defined upper threshold for qualifying low confidence samples and decreased as this threshold was raised to include higher confidence samples. This suggests exclusively selecting lower confidence samples for data augmentation comes with distinct benefits for electrocardiogram data classification with Fully Convolutional Networks.

연구 동기 및 목표

• 심전도(ECG) 데이터에 대한 완전 컨볼루션 네트워크(FCNs)의 분류 정확도를 향상시키는 것, 특히 심근경색을 탐지하는 데 초점 맞추기.
• 기존의 데이터 증강 기법이 예측 신뢰도에 관계없이 동일한 변환을 적용하는 한계를 해결하는 것.
• 특히 약한 특징 연관성을 보이는 낮은 신뢰도 샘플들만 선택적으로 증강함으로써 모델이 미세하거나 희귀한 패턴에 더 민감해질 수 있는지 조사하는 것.
• 성능 향상을 극대화하는 데 최적의 임계값을 도출하는 것.

제안 방법

• 신뢰도 임계값 α를 사용해 검증 세트에서 낮은 신뢰도 예측을 식별함. 이는 예측 클래스 확률 간의 절대 차이로 정의됨.
• 낮은 신뢰도 예측에 해당하는 시간 시리즈 데이터 세그먼트를 재표본화하고, 재학습용 훈련 세트에 다시 통합함.
• 증강된 훈련 세트로 모델을 재학습하고 별도의 테스트 세트에서 성능을 재측정함.
• 재표본화된 세그먼트의 분할에 고정된 창 크기 70%를 사용함.
• 신뢰도 임계값 α를 0.1에서 0.8까지 변화시켜 그 영향을 모델 정확도 및 손실에 대해 평가함.
• 비교를 위해 선택적 증강 없이 훈련된 기준 FCN 모델을 준비함.

실험 결과

연구 질문

• RQ1 기존의 보편적 증강 방식과 비교해, 낮은 신뢰도 예측에만 선택적으로 증강 적용하는 것이 심전도 시간 시리즈 분류에서 FCN 성능 향상에 기여하는가?
• RQ2 이 맥락에서 낮은 신뢰도 샘플을 선택하기 위한 최적의 신뢰도 임계값 α는 무엇인가?
• RQ3 신뢰도 임계값 α를 높일수록 모델 정확도 및 손실에 어떤 영향을 미치며, 더 높은 신뢰도 샘플을 포함할 경우 성능이 저하되는가?
• RQ4 이 방법은 과적합 없이 심전도 데이터의 미세하거나 약한 상관관계를 가지는 특징에 대한 모델 민감도를 향상시킬 수 있는가?
• RQ5 이 성능 향상 효과는 다수의 모델 반복 및 하이퍼파rameter 설정에 걸쳐 안정적인가?

주요 결과

• 제안된 방법은 테스트 세트에서 90%의 정확도를 달성하여 기준 FCN의 82%보다 뚜렷한 향상을 보였다.
• 최고 성능을 낸 모델은 신뢰도 임계값 α = 0.5를 사용하여 90%의 정확도와 0.3172의 손실을 기록함.
• 신뢰도 임계값을 α = 0.5를 초과해 높일수록 성능이 저하되었으며, 가장 열악한 성능을 보인 모델(α = 0.7)은 오직 78%의 정확도를 기록함.
• α = 0.7를 제외한 모든 신규 방법으로 훈련된 모델들이 정확도 및 손실 측면에서 기준 모델을 초월함.
• 낮은 신뢰도 샘플들만 선택적으로 증강하는 것이 약한 특징에 대한 모델 민감도 향상에 기여한다는 가설을 지지하는 결과를 도출함.
• 선택 기준의 최적 임계값은 α ≈ 0.5 근처에서 도출되었으며, 더 높은 신뢰도 샘플을 포함시킬 경우 선택적 증강의 효과가 감소함을 시사함.