[论文解读] Adaptive Transfer Learning for Plant Phenotyping

Jun Wu, Elizabeth A. Ainsworth+3 more|arXiv (Cornell University)|Jan 14, 2022

Spectroscopy and Chemometric Analyses被引用 4

一句话总结

本文提出一种自适应迁移学习框架，通过利用跨多样化环境的高光谱反射率数据，提升植物表型分析性能。通过使用具有无限宽度隐藏层的神经网络，该方法在标签样本较少的情况下仍能实现优异性能，在低数据场景下优于传统模型（如PLSR和GPR），并在不同植物类型与环境之间展现出强大的知识迁移能力。

ABSTRACT

Plant phenotyping (Guo et al. 2021; Pieruschka et al. 2019) focuses on studying the diverse traits of plants related to the plants' growth. To be more specific, by accurately measuring the plant's anatomical, ontogenetical, physiological and biochemical properties, it allows identifying the crucial factors of plants' growth in different environments. One commonly used approach is to predict the plant's traits using hyperspectral reflectance (Yendrek et al. 2017; Wang et al. 2021). However, the data distributions of the hyperspectral reflectance data in plant phenotyping might vary in different environments for different plants. That is, it would be computationally expansive to learn the machine learning models separately for one plant in different environments. To solve this problem, we focus on studying the knowledge transferability of modern machine learning models in plant phenotyping. More specifically, this work aims to answer the following questions. (1) How is the performance of conventional machine learning models, e.g., partial least squares regression (PLSR), Gaussian process regression (GPR) and multi-layer perceptron (MLP), affected by the number of annotated samples for plant phenotyping? (2) Whether could the neural network based transfer learning models improve the performance of plant phenotyping? (3) Could the neural network based transfer learning be improved by using infinite-width hidden layers for plant phenotyping?

研究动机与目标

• 解决在植物表型分析中，不同植物种类和环境之间高光谱反射率数据分布变化的问题。
• 评估在标注样本数量变化时，传统机器学习模型（PLSR、GPR、MLP）的性能表现。
• 探究基于神经网络的迁移学习是否能够提升表型分析的准确性，尤其是在低数据场景下。
• 探索无限宽度神经网络在提升植物表型分析迁移学习性能方面的潜力。

提出的方法

• 作者开发了一种基于神经网络的迁移学习框架，利用高光谱反射率数据，将预训练模型自适应地迁移至新的植物种类和环境。
• 采用无限宽度隐藏层以近似核方法，实现理论分析，并在迁移学习中提升泛化能力。
• 在目标域数据上对模型进行微调，仅使用有限的标注样本，同时利用源域中数据丰富的知识。
• 应用领域自适应策略，对齐源域与目标域之间的特征分布，减轻领域偏移的影响。
• 框架采用类似元学习的优化过程，以极少量标注样本高效地调整模型参数。
• 通过在多个具有不同数据可用性的植物表型数据集上使用回归指标评估性能。

实验结果

研究问题

• RQ1 在植物表型分析中，传统机器学习模型（PLSR、GPR、MLP）的性能如何随标注样本数量的变化而变化？
• RQ2 与传统模型相比，基于神经网络的迁移学习模型是否能够提升表型分析的准确性？
• RQ3 神经网络中无限宽度隐藏层是否能够提升植物表型分析任务中的迁移学习性能？
• RQ4 所提出方法在跨不同植物种类和环境条件间迁移知识方面的有效性如何？

主要发现

• 基于神经网络的迁移学习显著优于传统模型（如PLSR和GPR），尤其是在标签数据稀缺的情况下。
• 使用无限宽度隐藏层可提升泛化能力，并在不同植物种类和环境之间实现更稳定的表现。
• 所提方法在使用更少标注样本的情况下实现了更高的回归准确率，展现出强大的数据效率。
• 结合领域自适应的迁移学习可减轻源域与目标域之间数据分布偏移的负面影响。
• 该模型在多种植物类型和环境条件下均保持高性能，表明其具备强大的知识迁移能力。
• 该框架对领域偏移具有鲁棒性，在低数据场景下表现出一致的性能提升。