[论文解读] Mid infrared spectroscopy and milk quality traits: A data analysis competition at the "International Workshop on Spectroscopy and Chemometrics 2021"

Maria Frizzarin, Antonio Bevilacqua+12 more|arXiv (Cornell University)|Jan 1, 2021

Spectroscopy and Chemometric Analyses参考文献 51被引用 12

一句话总结

本文介绍了在2021年国际光谱学与化学计量学研讨会期间举办的一场数据竞赛，参赛者利用中红外（MIR）光谱仅预测三种牛奶质量特征——κ-酪蛋白、酪蛋白胶粒尺寸（CMS）和pH值。竞赛结果表明，功能数据分析方法优于传统的表格和时间序列方法，尤其因其能够有效建模复杂的光谱相关性，最佳方法的相对误差（RERR）达到1.00，表明在所有特征上均达到顶级性能。

ABSTRACT

A chemometric data analysis challenge has been arranged during the first edition of the "International Workshop on Spectroscopy and Chemometrics", organized by the Vistamilk SFI Research Centre and held online in April 2021. The aim of the competition was to build a calibration model in order to predict milk quality traits exploiting the information contained in mid-infrared spectra only. Three different traits have been provided, presenting heterogeneous degrees of prediction complexity thus possibly requiring trait-specific modelling choices. In this paper the different approaches adopted by the participants are outlined and the insights obtained from the analyses are critically discussed.

研究动机与目标

• 评估多种机器学习与化学计量学方法在利用中红外（MIR）光谱预测牛奶质量特征方面的表现。
• 评估不同数据预处理与建模策略对预测性能的影响。
• 比较表格法、时间序列法与功能数据分析方法在MIR光谱数据上的有效性。
• 识别出在预测异质性牛奶质量特征时，能够实现最准确且可解释预测的建模范式。
• 推动开发简洁、可解释的模型，以支持奶业科学中的实际应用。

提出的方法

• 参赛者仅使用中红外光谱（900至5000 cm⁻¹范围内的1060个波数）来预测三种牛奶质量特征：pH值、CMS和κ-酪蛋白。
• 使用了399至548个样本的训练集和69个光谱的测试集，未提供与特定特征相关的波数信息。
• 通过测试集上的均方根误差（RMSEP）评估预测性能，并采用相对误差（RERR）指标对不同特征间的性能进行归一化。
• 表格法将光谱视为向量，而功能方法则将光谱建模为连续函数，以保留光谱的顺序与相关性结构。
• 两个参赛团队采用了数据驱动的噪声检测方法：一种基于每个波数的四分位距，另一种基于自适应功能建模。
• 探索了异常值处理策略，部分团队观察到在训练数据中保留异常值可提升性能。

实验结果

研究问题

• RQ1 在MIR光谱上，表格法、时间序列法与功能数据分析法中，哪种建模方法能对牛奶质量特征实现最准确的预测？
• RQ2 不同的预处理策略（如噪声过滤与异常值处理）如何影响预测性能？
• RQ3 特征选择与可解释性在多大程度上提升了基于MIR的模型在奶业科学中的实际应用价值？
• RQ4 功能数据分析能否有效捕捉传统向量基模型所忽略的长程光谱相关性？
• RQ5 每种牛奶质量特征（pH值、CMS、κ-酪蛋白）的固有复杂性在多大程度上影响最优建模策略的选择？

主要发现

• 功能数据分析方法取得了最佳整体性能，相对误差最低（RERR = 1.00），表明在所有三个特征上均实现了最优校准。
• 功能方法优于表格法与时间序列法，可能归因于其能够有效建模光谱区域间的复杂非局部相关性。
• 两个团队利用每个波数的四分位距识别并降低噪声光谱区域的权重，从而提升了模型的鲁棒性。
• 去除水吸收区域（MIR光谱中的常见现象）具有益处，尽管仅有两个团队明确结合了这一先验知识。
• 部分团队观察到，当异常值未被剔除时，测试性能有所提升，提示在MIR数据中处理异常值需格外谨慎。
• 本次竞赛凸显了可解释模型的价值，尤其是在结合领域专业知识时，有助于指导成本效益更高的光谱仪设计。