[論文レビュー] Stem-leaf segmentation and phenotypic trait extraction of maize shoots from three-dimensional point cloud

Chao Zhu, Miao Teng+3 more|arXiv (Cornell University)|Sep 7, 2020

Smart Agriculture and AI参考文献 30被引用数 5

ひとこと要約

本稿では、スケルトン抽出、粗いセグメンテーション、および茎・葉分類を用いて、トウモロコシの若苗における自動的茎・葉分離および形態的特徴抽出を実現する、3次元点群に基づく新規手法を提示する。本手法は高い正確性（平均F1スコア0.963）を達成し、密に巻かれた新しい葉に対しても、6つの主要な形態的特徴をR² > 0.94の精度で正確に測定可能である。

ABSTRACT

Nowadays, there are many approaches to acquire three-dimensional (3D) point clouds of maize plants. However, automatic stem-leaf segmentation of maize shoots from three-dimensional (3D) point clouds remains challenging, especially for new emerging leaves that are very close and wrapped together during the seedling stage. To address this issue, we propose an automatic segmentation method consisting of three main steps: skeleton extraction, coarse segmentation based on the skeleton, fine segmentation based on stem-leaf classification. The segmentation method was tested on 30 maize seedlings and compared with manually obtained ground truth. The mean precision, mean recall, mean micro F1 score and mean over accuracy of our segmentation algorithm were 0.964, 0.966, 0.963 and 0.969. Using the segmentation results, two applications were also developed in this paper, including phenotypic trait extraction and skeleton optimization. Six phenotypic parameters can be accurately and automatically measured, including plant height, crown diameter, stem height and diameter, leaf width and length. Furthermore, the values of R2 for the six phenotypic traits were all above 0.94. The results indicated that the proposed algorithm could automatically and precisely segment not only the fully expanded leaves, but also the new leaves wrapped together and close together. The proposed approach may play an important role in further maize research and applications, such as genotype-to-phenotype study, geometric reconstruction and dynamic growth animation. We released the source code and test data at the web site https://github.com/syau-miao/seg4maize.git

研究の動機と目的

• 新しく生育し、密に重なった葉が特徴的なトウモロコシ若苗における自動的茎・葉分離の課題に対処すること。
• 3次元点群からトウモロコシの若茎を自動的に抽出する、頑健で自動化された形態的特徴抽出手法の開発。
• ゲノタイプからフェノタイプへの研究や植物成長モデリングへの応用を想定し、正確で高スループットの形態的プロファイリングを可能にすること。
• 正確な幾何学的および形態的データ抽出を通じて、動的植物再構築および成長アニメーションの支援を可能にすること。

提案手法

• まず、植物の中心軸を表現するため、グラフベースのアプローチを用いて3次元点群からスケルトンを抽出する。
• 次に、スケルトンに基づいた粗いセグメンテーションを実施し、幾何的近接性と曲率解析を用いて茎領域と葉領域を分離する。
• さらに、セグメンテーション領域の幾何学的および空間的特徴を用いて学習された茎・葉分類モデルにより、細かいセグメンテーションを達成する。
• 密で重なった葉構造においてもセグメンテーションの正確性を向上させるために、マルチスケールフィルタリングとリージョングロービングを統合する。
• 植物の高さ、冠径、茎の高さ・径、および葉の長さ・幅といった形態的特徴を、幾何的測定を用いてセグメンテーション済み点群から抽出する。
• 性能を定量的に評価するため、30本のトウモロコシ若苗について、アルゴリズムの出力と手動による正解データを比較する検証パイプラインを構築する。

実験結果

リサーチクエスチョン

• RQ1 3次元点群に基づく手法は、密に巻かれた新芽のトウモロコシの葉を、茎や他の葉から正確に分離できるか？
• RQ2 提案手法は、3次元点群から植物の高さや葉の寸法といった主要な形態的特徴をどれほど正確に抽出できるか？
• RQ3 葉の成熟段階や空間的配置の違いにかかわらず、セグメンテーションの性能はどの程度維持されるか？
• RQ4 本手法は、育種や機能ゲノミクス分野における自動的で高スループットの形態的プロファイリングを支援できるか？
• RQ5 精度、再現率、F1スコアの観点から、手動アノテーションと比較して、アルゴリズムの性能はどの程度か？

主な発見

• 提案されたセグメンテーション手法は、平均F1スコア0.963を達成し、茎領域と葉領域を正確に区別できることを示した。
• 平均精度は0.964、平均再現率は0.966であり、真陽性を的確に特定するとともに、偽陽性を最小限に抑えるバランスの取れた性能であることが裏付けられた。
• 平均過剰正確度0.969は、全30本のトウモロコシ若苗に対して、セグメンテーションが極めて頑健であることを確認した。
• 植物の高さ、冠径、茎の高さ・径、および葉の長さ・幅の6つの形態的特徴は、すべてR²値が0.94を超えるほど、正解データと強い相関を示した。
• 本手法は、完全に展開した葉と密に巻かれた新芽の両方を正確にセグメンテーションでき、初期段階のトウモロコシの形態的プロファイリングにおける主要な課題を克服した。
• ソースコードおよびテストデータが公開され、植物形態的プロファイリング研究分野における再現性と広範な応用が可能となった。