[论文解读] Boost AI Power: Data Augmentation Strategies with unlabelled Data and Conformal Prediction, a Case in Alternative Herbal Medicine Discrimination with Electronic Nose

Li Liu, Xianghao Zhan+8 more|arXiv (Cornell University)|Feb 5, 2021

Advanced Chemical Sensor Technologies参考文献 36被引用 4

一句话总结

本文提出了一种新型的集成归纳 conformal prediction 在线学习（EICP）策略，通过利用未标注数据和 conformal prediction，提升电子鼻对中药材分类的性能。EICP 在数据稀缺和噪声条件下显著提高了模型的准确性和鲁棒性，在36项任务中的25项上相比五种竞争方法表现出统计显著性优势（p ≤ 0.05），证明其能有效降低对昂贵标注数据的依赖。

ABSTRACT

Electronic nose has been proven to be effective in alternative herbal medicine classification, but due to the nature of supervised learning, previous research heavily relies on the labelled training data, which are time-costly and labor-intensive to collect. To alleviate the critical dependency on the training data in real-world applications, this study aims to improve classification accuracy via data augmentation strategies. The effectiveness of five data augmentation strategies under different training data inadequacy are investigated in two scenarios: the noise-free scenario where different availabilities of unlabelled data were considered, and the noisy scenario where different levels of Gaussian noises and translational shifts were added to represent sensor drifts. The five augmentation strategies, namely noise-adding data augmentation, semi-supervised learning, classifier-based online learning, Inductive Conformal Prediction (ICP) online learning and our novel ensemble ICP online learning proposed in this study, are experimented and compared against supervised learning baseline, with Linear Discriminant Analysis (LDA) and Support Vector Machine (SVM) as the classifiers. Our novel strategy, ensemble ICP online learning, outperforms the others by showing non-decreasing classification accuracy on all tasks and a significant improvement on most simulated tasks (25out of 36 tasks,p<=0.05). Furthermore, this study provides a systematic analysis of different augmentation strategies. It shows at least one strategy significantly improved the classification accuracy with LDA (p<=0.05) and non-decreasing classification accuracy with SVM in each task. In particular, our proposed strategy demonstrated both effectiveness and robustness in boosting the classification model generalizability, which can be employed in other machine learning applications.

研究动机与目标

• 减少在基于电子鼻的中药材分类中对昂贵、耗时的标注训练数据的依赖。
• 在数据稀缺和传感器漂移的真实条件下，评估利用未标注数据的数据增强策略的有效性。
• 开发并验证一种稳健、自适应的数据增强方法，确保在不同数据质量和可用性条件下保持或提升分类准确率。
• 在相同数据集上，对基于 conformal prediction 的策略与其他数据增强技术进行公平、系统的比较。
• 通过利用未标注数据提升模型的泛化能力，实现电子鼻系统在药房等本地环境中的实际部署。

提出的方法

• 提出了一种新型的集成归纳 conformal prediction 在线学习（EICP）策略，通过组合多个 conformal predictor 来提升不确定性估计和预测可靠性。
• 应用了五种数据增强策略：添加噪声的数据增强、半监督学习、基于分类器的在线学习、归纳 conformal prediction（ICP）在线学习以及 EICP。
• 在两个数据集上，使用线性判别分析（LDA）和支持向量机（SVM）作为基础分类器，在两种场景下评估所有策略：无噪声和有噪声（含高斯噪声和平移偏移）。
• 通过调整未标注数据的比例并引入噪声和偏移扰动来模拟真实世界条件，以评估鲁棒性。
• 使用 Wilcoxon 符号秩检验评估不同策略和分类器之间性能差异的统计显著性。
• 在独立数据集（数据集2）上验证结果，该数据集额外收集了480个样本，覆盖不同季节，以确保泛化能力。

实验结果

研究问题

• RQ1 利用未标注数据的数据增强策略是否能显著提升电子鼻系统在中药材鉴别中的分类准确率？
• RQ2 在数据稀缺和因传感器漂移导致的数据质量不匹配的不同水平下，不同数据增强策略的表现如何？
• RQ3 所提出的 EICP 策略是否在真实世界部署场景中比现有的 conformal prediction 和半监督学习方法更具鲁棒性和有效性？
• RQ4 在噪声或数据稀缺条件下，使用未标注数据是否能确保所有任务的分类准确率不下降？
• RQ5 哪种数据增强策略在性能、鲁棒性和适应性之间提供了最佳平衡，适用于真实世界的电子鼻应用？

主要发现

• 所提出的 EICP 策略在全部36项实验任务中均实现了不降的分类准确率，证明其在不同数据条件下具有持续稳定的性能表现。
• 与基线方法相比，EICP 在36项任务中的25项中显著提升了分类准确率，且 p ≤ 0.05，表明具有强统计显著性。
• 所有任务中至少有一种数据增强策略提升了 LDA 的准确率，而 EICP 在所有任务中均保持了 SVM 的不降准确率。
• 在模拟传感器漂移的有噪声场景中，EICP 表现出最强的鲁棒性，能有效抵御高斯噪声和平移偏移的影响。
• 系统性比较结果表明，基于 conformal prediction 的策略，尤其是 EICP，在准确率和稳定性方面均优于传统的半监督学习和添加噪声的方法。
• 在独立数据集（数据集2）上的验证结果确认了 EICP 在不同季节数据中的泛化能力，进一步强化了其在真实世界应用中的适用性。