[论文解读] Accuracy Improvement for Fully Convolutional Networks via Selective Augmentation with Applications to Electrocardiogram Data

Lucas Cassiel Jacaruso|arXiv (Cornell University)|Apr 25, 2021

Time Series Analysis and Forecasting参考文献 78被引用 8

一句话总结

该论文提出了一种针对全卷积网络（FCNs）的选择性数据增强方法，仅对验证集中的低置信度预测进行增强，从而提升基于心电图（ECG）的心肌梗死分类性能。通过使用这些低置信度样本的重采样片段重新训练模型，该方法实现了90%的准确率，显著优于基线FCN的82%，最优性能出现在置信度阈值α = 0.5时。

ABSTRACT

Deep learning methods have shown suitability for time series classification in the health and medical domain, with promising results for electrocardiogram data classification. Successful identification of myocardial infarction holds life saving potential and any meaningful improvement upon deep learning models in this area is of great interest. Conventionally, data augmentation methods are applied universally to the training set when data are limited in order to ameliorate data resolution or sample size. In the method proposed in this study, data augmentation was not applied in the context of data scarcity. Instead, samples that yield low confidence predictions were selectively augmented in order to bolster the model's sensitivity to features or patterns less strongly associated with a given class. This approach was tested for improving the performance of a Fully Convolutional Network. The proposed approach achieved 90 percent accuracy for classifying myocardial infarction as opposed to 82 percent accuracy for the baseline, a marked improvement. Further, the accuracy of the proposed approach was optimal near a defined upper threshold for qualifying low confidence samples and decreased as this threshold was raised to include higher confidence samples. This suggests exclusively selecting lower confidence samples for data augmentation comes with distinct benefits for electrocardiogram data classification with Fully Convolutional Networks.

研究动机与目标

• 提升全卷积网络（FCNs）在心电图（ECG）数据上的分类准确率，特别是在检测心肌梗死方面。
• 解决传统数据增强方法的局限性，即对所有样本统一应用变换，而不考虑预测置信度。
• 探究是否仅对低置信度样本（即特征关联较弱的样本）进行选择性增强，能够提升模型对细微或罕见模式的敏感性。
• 确定用于选择低置信度样本的最优阈值，以最大化性能提升。

提出的方法

• 该方法使用置信度阈值α从验证集中识别出低置信度预测，其中α定义为预测类别概率之间的绝对差值。
• 将对应于低置信度预测的时间序列数据段进行重采样，并重新引入训练集。
• 在增强后的训练集上重新训练模型，并在独立的测试集上重新评估性能。
• 该方法对重采样段使用固定窗口大小，即原始时间序列长度的70%进行分割。
• 将置信度阈值α从0.1到0.8进行变化，以评估其对模型准确率和损失的影响。
• 训练一个不进行任何选择性增强的基线FCN模型以作比较。

实验结果

研究问题

• RQ1 与传统的通用增强方法相比，仅对低置信度预测进行选择性增强是否能提升FCN在心电图时间序列分类中的性能？
• RQ2 在此背景下，选择低置信度样本进行增强的最优置信度阈值α是多少？
• RQ3 提高置信度阈值α如何影响模型准确率和损失？当包含更高置信度样本时，性能是否会下降？
• RQ4 该方法是否能在不引起过拟合的情况下，提升模型对心电图数据中细微或弱相关特征的敏感性？
• RQ5 该性能提升在多个模型迭代和超参数设置下是否具有鲁棒性？

主要发现

• 所提出的方法在测试集上实现了90%的准确率，显著优于基线FCN的82%准确率。
• 表现最佳的模型使用了置信度阈值α = 0.5，实现了90%的准确率和0.3172的损失。
• 当置信度阈值超过α = 0.5时，性能下降，表现最差的模型（α = 0.7）仅达到78%的准确率。
• 除一个模型（α = 0.7）外，所有采用新方法训练的模型在准确率和损失方面均优于基线。
• 结果支持假设：选择性增强低置信度样本可提升模型对不显著特征的敏感性。
• 最优选择阈值位于α = 0.5附近，表明包含更高置信度样本会削弱选择性增强的效益。