[논문 리뷰] PLANesT-3D: A new annotated dataset for segmentation of 3D plant point clouds

Kerem Mertoğlu, Yusuf Şalk외 7명|arXiv (Cornell University)|2024. 07. 30.

Remote Sensing and LiDAR Applications인용 수 4

한 줄 요약

이 논문은 편초, 장미, 건포도 세 식물 종에서 촬영한 34개의 고해상도, 색상이 있는 3D 포인트 클라우드로 구성된 새로운 공개 데이터셋인 PLANesT-3D를 소개한다. 각 포인트는 의미론적(잎/줄기) 및 인스턴스 수준의 레이블로 주석 처리되어 있다. PointNet++, RoseSegNet, 그리고 새로운 방법인 SP-LSCnet을 포함한 딥 러닝 모델을 평가하였으며, RoseSegNet은 고추 식물에서 평균 교차율(MIoU) 95.5%를 기록하여, 자동 식물형태 분석에서 3D 식물 분할 기술을 향상시키는 데 데이터셋의 가치를 입증하였다.

ABSTRACT

Creation of new annotated public datasets is crucial in helping advances in 3D computer vision and machine learning meet their full potential for automatic interpretation of 3D plant models. Despite the proliferation of deep neural network architectures for segmentation and phenotyping of 3D plant models in the last decade, the amount of data, and diversity in terms of species and data acquisition modalities are far from sufficient for evaluation of such tools for their generalization ability. To contribute to closing this gap, we introduce PLANesT-3D; a new annotated dataset of 3D color point clouds of plants. PLANesT-3D is composed of 34 point cloud models representing 34 real plants from three different plant species: extit{Capsicum annuum}, extit{Rosa kordana}, and extit{Ribes rubrum}. Both semantic labels in terms of "leaf" and "stem", and organ instance labels were manually annotated for the full point clouds. PLANesT-3D introduces diversity to existing datasets by adding point clouds of two new species and providing 3D data acquired with the low-cost SfM/MVS technique as opposed to laser scanning or expensive setups. Point clouds reconstructed with SfM/MVS modality exhibit challenges such as missing data, variable density, and illumination variations. As an additional contribution, SP-LSCnet, a novel semantic segmentation method that is a combination of unsupervised superpoint extraction and a 3D point-based deep learning approach is introduced and evaluated on the new dataset. The advantages of SP-LSCnet over other deep learning methods are its modular structure and increased interpretability. Two existing deep neural network architectures, PointNet++ and RoseSegNet, were also tested on the point clouds of PLANesT-3D for semantic segmentation.

연구 동기 및 목표

• 의미론적 및 인스턴스 수준의 주석이 세밀하게 기재된 공개 가능하고 고품질의 3D 식물 포인트 클라우드 데이터셋이 부족한 문제를 해결하기 위해.
• 다양한 식물 종에서 3D 식물 분할을 위한 딥 러닝 모델의 벤치마킹 및 훈련을 가능하게 하기 위해.
• 최신 딥 러닝 아키텍처와 새로운 방법인 SP-LSCnet이 새로운 도전적인 3D 식물 분할 벤치마크에서 성능을 어떻게 평가할 수 있는지 분석하기 위해.
• 향후 전이 학습, 소수 샘플 학습, 3D 식물 분석에서 색상 정보의 통합에 대한 연구를 지원하기 위해.

제안 방법

• 구조에서 영상 추출(SfM) 및 다중 시점 스테레오(MVS) 복원 기반으로, 제어된 조건에서 촬영한 수백 장의 RGB 이미지로부터 데이터셋을 구축하였다.
• 모든 포인트를 의미론적 수준에서 '잎' 또는 '줄기'로 수동 주석 처리하였으며, 개별 기관 인스턴스는 인스턴스 수준에서 레이블링하였다.
• 비지도 초점점 추출과 3D 포인트 기반 딥 러닝 네트워크를 조합한 새로운 방법인 SP-LSCnet을 제안하였다.
• Mean Intersection over Union(MIoU)를 주요 평가 지표로 사용하여, PLANesT-3D 데이터셋에서 PointNet++, RoseSegNet, SP-LSCnet의 세 가지 딥 러닝 모델을 훈련하고 평가하였다.
• 모든 모델의 분할 결과를 향상시키기 위해 레이블 스무딩 및 그래프 기반 재평가와 같은 후처리 기법을 적용하였다.
• 고해상도 RGB 카메라로 촬영한 34개의 완전한 3D 포인트 클라우드로 구성되어 있으며, 각각 60만~550만 개의 포인트를 포함하고 있으며, 고밀도이고 색상이 있는 포인트 클라우드로 복원되었다.

실험 결과

연구 질문

• RQ1 기존의 3D 의미론적 분할 모델들이 새로운 다양하고 고해상도의 3D 식물 포인트 클라우드 데이터셋에서 어떻게 성능을 내는가?
• RQ2 초점점 추출과 딥 러닝을 조합한 새로운 방법(SP-LSCnet)이 복잡한 식물 구조에서 분할 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 3D 포인트 클라우드에 색상 정보가 포함될 경우 분할 성능에 어떤 영향을 미치며, 향후 모델 개발에 어떤 잠재력을 지닐 수 있는가?
• RQ4 한 식물 종에서 훈련된 모델이 다른 식물 종으로 일반화 가능한가? 이는 식물형태 분석에서 전이 학습에 어떤 함의를 지닐 수 있는가?

주요 결과

• RoseSegNet은 고추 식물에서 평균 교차율(MIoU) 95.5%를 기록하였고, 장미 식물에서는 92.0%, 건포도 식물에서는 95.1%를 기록하여 다른 모델들을 압도하였다.
• SP-LSCnet은 고추 식물에서 MIoU 95.0%, 장미 식물에서 89.8%, 건포도 식물에서 94.5%의 경쟁력 있는 성능을 기록하여, 하이브리드 초점점 및 딥 러닝 접근법의 효과성을 입증하였다.
• PointNet++는 복잡하고 조밀한 식물 구조에서 RoseSegNet 및 SP-LSCnet에 비해 낮은 성능을 보였으며, 포인트 밀도의 변동성과 미세한 기하학적 구조 처리에 한계가 있음을 시사하였다.
• 모든 모델가 작은 고립된 또는 겹치는 식물 부분에서 어려움을 겪었으며, 특히 포인트 밀도가 낮거나 구조적 복잡성이 높은 영역에서 문제가 있었다.
• 고해상도의 색상이 있는 포인트 클라우드와 세밀한 주석 정보를 갖춘 이 데이터셋은 향후 3D 식물 분할 모델의 훈련 및 평가를 위한 견고한 기반을 제공한다.
• 세 가지 다른 식물 종의 존재는 향후 식물형태 분석에서 종 간 전이 학습 및 딥 러닝 모델의 일반화 능력 연구를 가능하게 한다.