[論文レビュー] Eff-3DPSeg: 3D organ-level plant shoot segmentation using annotation-efficient point clouds

Liyi Luo, Xintong Jiang+5 more|arXiv (Cornell University)|Dec 20, 2022

Smart Agriculture and AI被引用数 4

ひとこと要約

本稿では、視点ボトルネック損失を用いた自己教師あり事前学習と、0.5%のアノテート済みポイントでの微調整を活用する弱教師あり3次元植物シュートセグメンテーションフレームワークEff-3DPSegを提案する。本手法は、茎および葉のセグメンテーションにおいて95.1%の精度、96.6%の再現率、92.2%のmIoUを達成し、最小限のアノテーション作業で効率的な臓器レベルの形態計測を可能にする。

ABSTRACT

Reliable and automated 3D plant shoot segmentation is a core prerequisite for the extraction of plant phenotypic traits at the organ level. Combining deep learning and point clouds can provide effective ways to address the challenge. However, fully supervised deep learning methods require datasets to be point-wise annotated, which is extremely expensive and time-consuming. In our work, we proposed a novel weakly supervised framework, Eff-3DPSeg, for 3D plant shoot segmentation. First, high-resolution point clouds of soybean were reconstructed using a low-cost photogrammetry system, and the Meshlab-based Plant Annotator was developed for plant point cloud annotation. Second, a weakly-supervised deep learning method was proposed for plant organ segmentation. The method contained: (1) Pretraining a self-supervised network using Viewpoint Bottleneck loss to learn meaningful intrinsic structure representation from the raw point clouds; (2) Fine-tuning the pre-trained model with about only 0.5% points being annotated to implement plant organ segmentation. After, three phenotypic traits (stem diameter, leaf width, and leaf length) were extracted. To test the generality of the proposed method, the public dataset Pheno4D was included in this study. Experimental results showed that the weakly-supervised network obtained similar segmentation performance compared with the fully-supervised setting. Our method achieved 95.1%, 96.6%, 95.8% and 92.2% in the Precision, Recall, F1-score, and mIoU for stem leaf segmentation and 53%, 62.8% and 70.3% in the AP, AP@25, and AP@50 for leaf instance segmentation. This study provides an effective way for characterizing 3D plant architecture, which will become useful for plant breeders to enhance selection processes.

研究の動機と目的

• 点群を用いた完全教師あり3次元植物シュートセグメンテーションにおける高いアノテーションコストを低減すること。
• 最小限の人為的アノテーションデータで高いセグメンテーション精度を達成する弱教師ありディープラーニングフレームワークの開発。
• 茎径、葉幅、葉長などの臓器レベルの形態計測的特徴の信頼性の高い抽出を可能にすること。
• Pheno4Dなどの公開データセットを用いて、手法の汎用性を検証すること。
• 植物育種家が形態計測ワークフローを加速できるスケーラブルなソリューションの提供。

提案手法

• 低コストの写真測量システムを用いて、トウモロコシのシュートの高分解能3次元点群を再構築した。
• 効率的な点群アノテーションを実現するため、MeshlabベースのPlant Annotatorツールを開発した。
• 生の点群から内在的な構造的表現を学習するために、視点ボトルネック損失を用いた自己教師あり事前学習により深層ニューラルネットワークを事前学習した。
• 点単位のアノテーションをたった0.5%のみを用いて、事前学習済みモデルを微調整し、臓器レベルのセグメンテーションを実行した。
• 訓練済みモデルを用いて、茎径、葉幅、葉長の3つの形態計測的特徴を抽出した。
• 独自のトウモロコシデータおよび公開のPheno4Dデータセットの両方で手法を評価し、汎用性を評価した。

実験結果

リサーチクエスチョン

• RQ1 生の3次元点群に対して自己教師あり事前学習を適用することで、植物シュートセグメンテーションにおける人為的アノテーションの必要量を削減できるか？
• RQ2 0.5%のアノテート済みポイントでのみ使用する弱教師ありセグメンテーションモデルの性能は、完全教師ありベースラインと比べてどの程度か？
• RQ3 本手法は、Pheno4Dのような異なる植物種やデータセットに対してもどの程度汎用性を示すか？
• RQ4 セグメンテーションモデルは、茎径や葉寸法といった重要な形態計測的特徴を信頼性高く抽出できるか？
• RQ5 視点ボトルネック損失は、教師なし条件下でも植物点群の構造的意味を効果的に捉えられるか？

主な発見

• 弱教師ありモデルは、茎および葉のセグメンテーションにおいて95.1%の精度、96.6%の再現率、92.2%のmIoUを達成し、完全教師ありの性能に近く、ほぼ同等の性能を示した。
• 葉インスタンスセグメンテーションでは、70.3%のAP@50、62.8%のAP@25、53%のAPを達成し、強力なインスタンスレベル検出能力を示した。
• 公開のPheno4Dデータセットに対しても、異なる植物の構造や撮影条件に対しても、良好な汎用性を示した。
• 0.5%のアノテート済みポイントのみを用いることで、アノテーションコストを顕著に低減しながらも、高いセグメンテーション精度を維持できた。
• セグメンテーションパイプラインにより、茎径、葉幅、葉長の形態計測的特徴抽出が成功裏に実現された。
• 視点ボトルネック損失を用いた自己教師あり事前学習により、生の点群から意味のある構造的表現を効果的に学習でき、後続の微調整の効率が向上した。