[論文レビュー] Accuracy Improvement for Fully Convolutional Networks via Selective Augmentation with Applications to Electrocardiogram Data

Lucas Cassiel Jacaruso|arXiv (Cornell University)|Apr 25, 2021

Time Series Analysis and Forecasting参考文献 78被引用数 8

ひとこと要約

本論文は、完全畳み込みネットワーク（FCNs）のための選択的データ拡張手法を提案し、検証セットからの低信頼度予測にのみ焦点を当てて拡張を実施することで、心電図（ECG）を用いた虚血性心筋梗塞分類の性能を向上させた。これらの低信頼度サンプルから再サンプリングしたセグメントを用いてモデルを再訓練することで、90%の精度を達成した。これはベースラインのFCNの82%を著しく上回り、最適な性能は信頼度しきい値α = 0.5で得られた。

ABSTRACT

Deep learning methods have shown suitability for time series classification in the health and medical domain, with promising results for electrocardiogram data classification. Successful identification of myocardial infarction holds life saving potential and any meaningful improvement upon deep learning models in this area is of great interest. Conventionally, data augmentation methods are applied universally to the training set when data are limited in order to ameliorate data resolution or sample size. In the method proposed in this study, data augmentation was not applied in the context of data scarcity. Instead, samples that yield low confidence predictions were selectively augmented in order to bolster the model's sensitivity to features or patterns less strongly associated with a given class. This approach was tested for improving the performance of a Fully Convolutional Network. The proposed approach achieved 90 percent accuracy for classifying myocardial infarction as opposed to 82 percent accuracy for the baseline, a marked improvement. Further, the accuracy of the proposed approach was optimal near a defined upper threshold for qualifying low confidence samples and decreased as this threshold was raised to include higher confidence samples. This suggests exclusively selecting lower confidence samples for data augmentation comes with distinct benefits for electrocardiogram data classification with Fully Convolutional Networks.

研究の動機と目的

• 完全畳み込みネットワーク（FCNs）の心電図（ECG）データに対する分類精度を向上させること、特に虚血性心筋梗塞の検出を目的とする。
• 従来のデータ拡張手法の限界に対処すること、すなわち、予測の信頼度にかかわらず一様に変換を適用すること。
• 低信頼度のサンプル（特徴の関連性が弱いもの）にのみ拡張を適用することで、微細なまたはまれなパターンに対するモデルの感受性が向上するかどうかを調査すること。
• 性能向上を最大化するための最適なしきい値を特定すること。

提案手法

• 信頼度しきい値αを用いて検証セットからの低信頼度予測を同定する。αは予測クラス確率の絶対差として定義される。
• 低信頼度予測に対応する時系列データのセグメントを再サンプリングし、訓練セットに再統合する。
• 拡張された訓練セットでモデルを再訓練し、別個のテストセットで再評価して性能を測定する。
• 再サンプリングされたセグメントのセグメンテーションに、元の時系列長の70%の固定ウィンドウサイズを用いる。
• 信頼度しきい値αを0.1から0.8まで変化させ、モデルの精度および損失に与える影響を評価する。
• 比較のため、選択的拡張を一切行わないベースラインFCNモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 従来の普遍的拡張と比較して、低信頼度予測にのみ選択的に拡張を適用することで、ECG時系列分類におけるFCN性能が向上するか？
• RQ2 本文脈において、低信頼度サンプルを拡張対象に選ぶ最適な信頼度しきい値αは何か？
• RQ3 信頼度しきい値αを高くすると、モデルの精度および損失にどのような影響があり、より高い信頼度のサンプルを含めると性能が低下するか？
• RQ4 この手法は、ECGデータにおける微細な、もしくは弱い相関を持つ特徴に対するモデルの感受性を向上させつつ、過学習を引き起こさないか？
• RQ5 複数回のモデル反復およびハイパーパrameter設定において、性能向上は一貫して有効か？

主な発見

• 提案手法はテストセットで90%の精度を達成し、ベースラインFCNの82%を著しく上回った。
• 最高の性能を示したモデルは信頼度しきい値α = 0.5を用い、90%の精度と0.3172の損失を達成した。
• 信頼度しきい値をα = 0.5を超えて高くすると性能が低下し、最悪のモデル（α = 0.7）では僅か78%の精度にとどまった。
• α = 0.7を除く、本手法で訓練されたすべてのモデルが、精度および損失の両面でベースラインを上回った。
• 結果は、低信頼度サンプルにのみ選択的に拡張を適用することで、モデルの顕著でない特徴への感受性が向上することを支持する。
• 選択の最適なしきい値はα ≈ 0.5付近にあり、より高い信頼度のサンプルを含めると、選択的拡張の利点が減少することが示された。