[論文レビュー] PLANesT-3D: A new annotated dataset for segmentation of 3D plant point clouds

Kerem Mertoğlu, Yusuf Şalk+7 more|arXiv (Cornell University)|Jul 30, 2024

Remote Sensing and LiDAR Applications被引用数 4

ひとこと要約

この論文は、パプリカ、バラ、コンニャクの3つの植物種からなる34体の高解像度、カラー3次元点群を含む新しい公開データセットPLANesT-3Dを紹介している。各点群には意味的（葉／茎）およびインスタンスレベルのラベルが付与されている。PointNet++、RoseSegNet、および新規手法SP-LSCnetを含む深層学習モデルの性能を評価した結果、RoseSegNetがパプリカ植物において95.5％の平均交差率（MIoU）を達成し、自動植物形態計測分野における3次元植物セグメンテーションの発展に貢献するデータセットの価値を示した。

ABSTRACT

Creation of new annotated public datasets is crucial in helping advances in 3D computer vision and machine learning meet their full potential for automatic interpretation of 3D plant models. Despite the proliferation of deep neural network architectures for segmentation and phenotyping of 3D plant models in the last decade, the amount of data, and diversity in terms of species and data acquisition modalities are far from sufficient for evaluation of such tools for their generalization ability. To contribute to closing this gap, we introduce PLANesT-3D; a new annotated dataset of 3D color point clouds of plants. PLANesT-3D is composed of 34 point cloud models representing 34 real plants from three different plant species: extit{Capsicum annuum}, extit{Rosa kordana}, and extit{Ribes rubrum}. Both semantic labels in terms of "leaf" and "stem", and organ instance labels were manually annotated for the full point clouds. PLANesT-3D introduces diversity to existing datasets by adding point clouds of two new species and providing 3D data acquired with the low-cost SfM/MVS technique as opposed to laser scanning or expensive setups. Point clouds reconstructed with SfM/MVS modality exhibit challenges such as missing data, variable density, and illumination variations. As an additional contribution, SP-LSCnet, a novel semantic segmentation method that is a combination of unsupervised superpoint extraction and a 3D point-based deep learning approach is introduced and evaluated on the new dataset. The advantages of SP-LSCnet over other deep learning methods are its modular structure and increased interpretability. Two existing deep neural network architectures, PointNet++ and RoseSegNet, were also tested on the point clouds of PLANesT-3D for semantic segmentation.

研究の動機と目的

• 意味的およびインスタンスレベルのラベルが付与された、公開可能で高品質な3次元植物点群データセットの不足を解消すること。
• 多様な植物種にわたる3次元植物セグメンテーションのための深層学習モデルのベンチマークおよびトレーニングを可能にすること。
• 最先端の深層学習アーキテクチャおよび新規手法SP-LSCnetの性能を、新たな挑戦的な3次元植物セグメンテーションベンチマークで評価すること。
• 将来の研究におけるトランスファーラーニング、小標本学習、および3次元植物解析におけるカラー情報の統合を支援すること。

提案手法

• 点群は、制御された環境下で撮影された数多くのRGB画像を用いた構造から姿の復元（SfM）およびマルチビューステレオ（MVS）再構成によって作成された。
• 意味的レベルでは全点を「葉」と「茎」に手動でラベル付けし、インスタンスレベルでは個々の器官をラベル付けした。
• 新規手法SP-LSCnetを提案した。これは、非教師ありスーパーポイント抽出と3次元点ベースの深層学習ネットワークを組み合わせ、セグメンテーション性能を向上させることを目的としている。
• 3次元点群セグメンテーションの評価指標として平均交差率（MIoU）を主指標として用い、PointNet++、RoseSegNet、SP-LSCnetの3つの深層学習モデルをPLANesT-3Dデータセット上でトレーニングおよび評価した。
• すべてのモデルのセグメンテーション結果を改善するために、ラベルスムージングやグラフベースの再評価といった後処理技術を適用した。
• データセットには、1点群あたり60万～550万点の高解像度RGBカメラで撮影され、密度が高くカラー化された点群が34体含まれている。

実験結果

リサーチクエスチョン

• RQ1 既存の3次元意味的セグメンテーションモデルは、新たな多様性と高解像度を備えた3次元植物点群データセット上で、どのように性能を発揮するか？
• RQ2 スーパーポイント抽出と深層学習を組み合わせた新規手法（SP-LSCnet）は、複雑な植物構造において、セグメンテーション精度をどの程度向上できるか？
• RQ3 3次元点群にカラー情報を組み込むことでセグメンテーション性能にどのような影響があるか？また、将来的なモデル開発におけるその可能性は何か？
• RQ4 ある植物種でトレーニングされたモデルは、他の植物種へ一般化可能か？これは植物形態計測分野におけるトランスファーラーニングに何を示唆するか？

主な発見

• RoseSegNetは、パプリカ植物で95.5％、バラ植物で92.0％、コンニャク植物で95.1％の平均交差率（MIoU）を達成し、他のモデルを上回った。
• SP-LSCnetは、パプリカで95.0％、バラで89.8％、コンニャクで94.5％のMIoUを達成し、スーパーポイントと深層学習を統合した手法の有効性を示した。
• PointNet++は、複雑で密集した植物構造において、RoseSegNetやSP-LSCnetと比較して低い性能を示した。これは、点密度の変動や微細な幾何形状の処理に限界があることを示唆している。
• すべてのモデルが、小さな孤立した部分や重なった植物部品のセグメンテーションに苦労しており、点密度が低いか構造が複雑な領域で特に困難を示した。
• 高解像度でカラー化された点群と詳細なラベルが付与されたこのデータセットは、将来の3次元植物セグメンテーションモデルのトレーニングおよび評価の基盤を強固に提供している。
• 3種類の異なる植物種が含まれているため、将来の研究においてクロススペーシーズのトランスファーラーニングや、深層学習モデルの一般化に関する研究が可能になる。