[论文解读] Convolutional neural networks for classification and regression analysis of one-dimensional spectral data

Ine L. Jernelv, Dag Roar Hjelme+2 more|arXiv (Cornell University)|May 15, 2020

Spectroscopy and Chemometric Analyses被引用 13

一句话总结

本研究评估了卷积神经网络（CNNs）在近红外（NIR）、中红外（MIR）和拉曼（Raman）光谱的原始一维光谱数据上进行分类与回归任务的性能。在原始数据上，CNNs在分类任务中显著优于传统化学计量学方法（如SVM和PLSR），但在应用最优预处理和特征选择后，性能差距明显缩小。

ABSTRACT

Convolutional neural networks (CNNs) are widely used for image recognition and text analysis, and have been suggested for application on one-dimensional data as a way to reduce the need for pre-processing steps. Pre-processing is an integral part of multivariate analysis, but determination of the optimal pre-processing methods can be time-consuming due to the large number of available methods. In this work, the performance of a CNN was investigated for classification and regression analysis of spectral data. The CNN was compared with various other chemometric methods, including support vector machines (SVMs) for classification and partial least squares regression (PLSR) for regression analysis. The comparisons were made both on raw data, and on data that had gone through pre-processing and/or feature selection methods. The models were used on spectral data acquired with methods based on near-infrared, mid-infrared, and Raman spectroscopy. For the classification datasets the models were evaluated based on the percentage of correctly classified observations, while for regression analysis the models were assessed based on the coefficient of determination (R$^2$). Our results show that CNNs can outperform standard chemometric methods, especially for classification tasks where no pre-processing is used. However, both CNN and the standard chemometric methods see improved performance when proper pre-processing and feature selection methods are used. These results demonstrate some of the capabilities and limitations of CNNs used on one-dimensional data.

研究动机与目标

• 评估卷积神经网络（CNNs）在原始和预处理后的一维光谱数据上进行分类与回归任务的性能。
• 在多个光谱数据集上，将CNNs与标准化学计量学方法（分类使用SVM，回归使用PLSR）进行比较。
• 探究CNNs是否能减少化学计量学分析中通常耗时的预处理和特征选择步骤的依赖。
• 评估预处理和特征选择对不同光谱技术（NIR、MIR、Raman）下模型准确率的影响。

提出的方法

• 训练了一个包含多个卷积层和池化层的一维CNN架构，直接从原始光谱数据中提取分层光谱特征。
• 将CNN的性能与标准化学计量学模型（分类使用SVM，回归使用PLSR）在相同数据集上的表现进行对比。
• 应用多种预处理技术，包括噪声滤波、归一化、光谱微分和分箱，以提高数据质量。
• 采用基于包装法的特征选择方法（遗传算法、序列前向选择、移动窗口）和嵌入式方法（弹性网络），以识别相关光谱区域。
• 采用稳定性特征选择方法，识别在多次CNN训练运行中一致且重要的光谱区域。
• 使用分类准确率（正确分类的百分比）和回归性能（决定系数，R²）评估模型。

实验结果

研究问题

• RQ1 与标准化学计量学方法相比，一维CNNs是否能在原始光谱数据上实现更优的分类与回归性能？
• RQ2 预处理在多大程度上提升了CNNs和传统化学计量学模型的性能？
• RQ3 与传统方法相比，CNNs是否能减少对复杂预处理和特征选择步骤的依赖？
• RQ4 不同的特征选择策略在光谱分析中如何影响模型准确率？
• RQ5 是否存在在多次运行中被CNNs一致识别出的重要光谱区域？

主要发现

• 在原始光谱数据上，CNNs显著优于标准化学计量学方法，尤其在分类任务中，表现优于SVM和PLSR。
• 当应用最优预处理和特征选择后，CNNs与传统模型之间的性能差距显著缩小。
• 预处理方法（如噪声滤波、归一化、光谱微分和分箱，因子2–4）在所有模型中均一致提升了模型准确率。
• 特征选择，特别是使用遗传算法，显著提高了回归与分类的预测准确率，且结果与基于稳定性的CNN特征选择高度一致。
• CNNs识别出有意义的光谱区域（如葡萄糖溶液中1800–900 cm⁻¹），这些区域与化学相关的吸收峰相对应。
• 尽管CNNs能够直接从原始数据中学习，但仍需进行超参数调优（如卷积核大小、步长等），这在计算效率上限制了其相对于参数更少的简单模型的优势。