[論文レビュー] Adaptive Transfer Learning for Plant Phenotyping

Jun Wu, Elizabeth A. Ainsworth+3 more|arXiv (Cornell University)|Jan 14, 2022

Spectroscopy and Chemometric Analyses被引用数 4

ひとこと要約

本稿では、多様な環境におけるヒューパースペクトル反射率データを活用して、植物の顔認識を向上させるための適応的トランスファー学習フレームワークを提案する。無限大の幅を持つ隠れ層を備えたニューラルネットワークを用いることで、少ないラベル付きサンプルでも優れた性能を達成し、PLSR や GPR といった従来のモデルよりも低データ環境下で優れた性能を示し、植物種や環境間での強力な知識の転送性を示している。

ABSTRACT

Plant phenotyping (Guo et al. 2021; Pieruschka et al. 2019) focuses on studying the diverse traits of plants related to the plants' growth. To be more specific, by accurately measuring the plant's anatomical, ontogenetical, physiological and biochemical properties, it allows identifying the crucial factors of plants' growth in different environments. One commonly used approach is to predict the plant's traits using hyperspectral reflectance (Yendrek et al. 2017; Wang et al. 2021). However, the data distributions of the hyperspectral reflectance data in plant phenotyping might vary in different environments for different plants. That is, it would be computationally expansive to learn the machine learning models separately for one plant in different environments. To solve this problem, we focus on studying the knowledge transferability of modern machine learning models in plant phenotyping. More specifically, this work aims to answer the following questions. (1) How is the performance of conventional machine learning models, e.g., partial least squares regression (PLSR), Gaussian process regression (GPR) and multi-layer perceptron (MLP), affected by the number of annotated samples for plant phenotyping? (2) Whether could the neural network based transfer learning models improve the performance of plant phenotyping? (3) Could the neural network based transfer learning be improved by using infinite-width hidden layers for plant phenotyping?

研究の動機と目的

• 植物の顔認識における異なる植物種や環境間で生じるデータ分布のシフトに取り組むこと。
• アノテート済みサンプル数の変動に応じた従来の機械学習モデル（PLSR、GPR、MLP）の性能を評価すること。
• ニューラルネットワークベースのトランスファーレーニングが、特に低データ環境下で顔認識の精度を向上させられるかを検証すること。
• 無限大の幅を持つニューラルネットワークが、植物の顔認識タスクにおけるトランスファーレーニング性能の向上に寄与する可能性を調査すること。

提案手法

• 著者らは、ヒューパースペクトル反射率データを用いて、事前学習済みモデルを新しい植物種や環境に適応させるニューラルネットワークベースのトランスファーレーニングフレームワークを開発した。
• 無限大の幅を持つ隠れ層を採用することで、カーネル法に近似可能となり、理論的解析が可能になり、トランスファーレーニングにおける一般化性能が向上する。
• 豊富なデータを有するソースドメインからの知識を活用しながら、ラベル付きデータが限られたターゲットドメインデータでモデルをファインチューニングする。
• ドメイン間の特徴分布の一致を図るためのドメイン適応戦略を適用し、ドメインシフトの影響を低減する。
• 最小限のラベル付き例で効率的にモデルパラメータを適応させるメタラーニングに類似した最適化プロセスを採用する。
• 複数の植物の顔認識データセットを用い、データの可用性に応じた回帰指標で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 植物の顔認識において、アノテート済みサンプル数の変動に伴い、従来の機械学習モデル（PLSR、GPR、MLP）の性能はどのように変化するか？
• RQ2 ニューラルネットワークベースのトランスファーレーニングモデルは、従来のモデルよりも顔認識の精度を向上させられるか？
• RQ3 ニューラルネットワークにおける無限大の幅を持つ隠れ層は、植物の顔認識タスクにおけるトランスファーレーニング性能を向上させられるか？
• RQ4 提案手法は、異なる植物種や環境条件間での知識の転送にどの程度効果的か？

主な発見

• ニューラルネットワークベースのトランスファーレーニングは、PLSR や GPR といった従来のモデルよりも顕著に優れた性能を示し、特にラベル付きデータが少ない状況で顕著である。
• 無限大の幅を持つ隠れ層の使用により、多様な植物種や環境において一般化性能が向上し、より安定した性能が得られた。
• 提案手法は、少ないラベル付きサンプルで高い回帰精度を達成し、優れたデータ効率性を示した。
• ドメイン適応を施したトランスファーレーニングは、ソースドメインとターゲットドメイン間のデータ分布のシフトがもたらす悪影響を低減した。
• 複数の植物種や環境条件においても高い性能を維持しており、強力な知識の転送性を示している。
• ドメインシフトに対してロバストであり、低データ環境下でも一貫した性能向上が確認された。