[论文解读] Data Augmentation of Spectral Data for Convolutional Neural Network (CNN) Based Deep Chemometrics

Esben Jannik Bjerrum, Mads Glahder+1 more|arXiv (Cornell University)|Oct 5, 2017

Spectroscopy and Chemometric Analyses参考文献 3被引用 136

一句话总结

论文表明，采用数据增强和扩展的乘法散射校正（EMSC）的卷积神经网络（CNNs）在从近红外光谱预测片剂药物含量方面，优于PLS模型，尤其在跨仪器和跨浓度的外推中。

ABSTRACT

Deep learning methods are used on spectroscopic data to predict drug content in tablets from near infrared (NIR) spectra. Using convolutional neural networks (CNNs), features are ex- tracted from the spectroscopic data. Extended multiplicative scatter correction (EMSC) and a novel spectral data augmentation method are benchmarked as preprocessing steps. The learned models perform better or on par with hypothetical optimal partial least squares (PLS) models for all combinations of preprocessing. Data augmentation with subsequent EMSC in combination gave the best results. The deep learning model CNNs also outperform the PLS models in an extrapolation chal- lenge created using data from a second instrument and from an analyte concentration not covered by the training data. Qualitative investigations of the CNNs kernel activations show their resemblance to wellknown data processing methods such as smoothing, slope/derivative, thresholds and spectral region selection.

研究动机与目标

• 鼓励在光谱数据回归中使用卷积神经网络（CNNs），以从NIR光谱预测片剂药物含量。
• 评估预处理策略（数据增强和EMSC）相对于基线和假设的最佳PLS模型的表现。
• 评估在两台仪器数据及外推条件下的模型性能。
• 研究CNN核激活与已知光谱处理概念之间的关系。

提出的方法

• 在 Keras/Theano 中构建一个包含高斯噪声、两个一维卷积层、 dropout 和线性输出层的 CNN 模型。
• 通过随机扰动偏移、斜率和强度来进行数据增强，以扩大训练集。
• 比较不同的预处理变体：无预处理、归一化，以及带归一化的 Extended Multiplicative Scatter Correction (EMSC)。
• 通过贝叶斯优化（高斯过程）利用验证集来优化超参数；调整网络结构、dropout 和学习率。
• 以 R2、RMSE 和 Huber 损失作为指标，对 CNNs 与 PLS 模型进行基准比较。
• 通过在第二台仪器的数据和训练中未出现的更高分析值上进行测试来评估外推。

实验结果

研究问题

• RQ1 在不同的预处理管线下，CNNs 是否能够与 PLS 模型同样好或更好地从 NIR 光谱预测片剂分析浓度？
• RQ2 将数据增强与 EMSC 预处理结合，是否能获得最佳预测性能？
• RQ3 CNN 在跨仪器和未见浓度范围的外推场景中的表现如何？
• RQ4 CNN 核激活揭示的学习光谱特征相对于传统预处理（平滑、导数、区域选择）有何含义？

主要发现

• 在使用数据增强时，CNNs 在跨预处理变体的测试集上通常优于 PLS 模型。
• 数据增强随后进行 EMSC 的预处理在 CNN 的各预处理策略中提供了最佳性能。
• CNN 展示出强的外推能力，在使用第二台仪器和未见浓度的外推挑战中优于 PLS。
• EMSC 稳定地提升 CNN 的性能，而单独的数据增强往往对 CNN 的帮助多于对 PLS 的帮助。
• 定性核激活分析表明，CNN 学习的特征类似于平滑、导数/斜率识别以及光谱区间选择，表明具有可解释的行为。
• 外推测试强调了超参数优化应与预期未来性能相一致的重要性。