[논문 리뷰] Eff-3DPSeg: 3D organ-level plant shoot segmentation using annotation-efficient point clouds

Liyi Luo, Xintong Jiang외 5명|arXiv (Cornell University)|2022. 12. 20.

Smart Agriculture and AI인용 수 4

한 줄 요약

이 논문은 시점 병목 손실을 활용한 자기지도 학습 사전 훈련과 오직 0.5%의 레이블링된 점만을 사용한 미세조정을 통해 약한 지도 학습 3D 식물 줄기 분할 프레임워크인 Eff-3DPSeg를 제안한다. 줄기 및 잎 분할에서 높은 성능을 달성하여 최소한의 레이블링 노력으로 효율적인 기관 수준의 형질 분석을 가능하게 한다. 성능는 정밀도 95.1%, 재현율 96.6%, mIoU 92.2%를 기록한다.

ABSTRACT

Reliable and automated 3D plant shoot segmentation is a core prerequisite for the extraction of plant phenotypic traits at the organ level. Combining deep learning and point clouds can provide effective ways to address the challenge. However, fully supervised deep learning methods require datasets to be point-wise annotated, which is extremely expensive and time-consuming. In our work, we proposed a novel weakly supervised framework, Eff-3DPSeg, for 3D plant shoot segmentation. First, high-resolution point clouds of soybean were reconstructed using a low-cost photogrammetry system, and the Meshlab-based Plant Annotator was developed for plant point cloud annotation. Second, a weakly-supervised deep learning method was proposed for plant organ segmentation. The method contained: (1) Pretraining a self-supervised network using Viewpoint Bottleneck loss to learn meaningful intrinsic structure representation from the raw point clouds; (2) Fine-tuning the pre-trained model with about only 0.5% points being annotated to implement plant organ segmentation. After, three phenotypic traits (stem diameter, leaf width, and leaf length) were extracted. To test the generality of the proposed method, the public dataset Pheno4D was included in this study. Experimental results showed that the weakly-supervised network obtained similar segmentation performance compared with the fully-supervised setting. Our method achieved 95.1%, 96.6%, 95.8% and 92.2% in the Precision, Recall, F1-score, and mIoU for stem leaf segmentation and 53%, 62.8% and 70.3% in the AP, AP@25, and AP@50 for leaf instance segmentation. This study provides an effective way for characterizing 3D plant architecture, which will become useful for plant breeders to enhance selection processes.

연구 동기 및 목표

• 포인트 클라우드를 사용한 완전 지도 학습 3D 식물 줄기 분할의 높은 레이블링 비용을 줄이기 위해.
• 최소한의 인간 레이블링 데이터로 높은 분할 정확도를 달성하는 약한 지도 학습 딥 러닝 프레임워크를 개발하기 위해.
• 줄기 지름, 잎 너비, 잎 길이와 같은 기관 수준의 형질 특징을 신뢰성 있게 추출하기 위해.
• Pheno4D와 같은 공개 데이터셋에서 방법의 일반화 능력을 검증하기 위해.
• 식물 육종가들이 형질 분석 워크플로우를 가속화할 수 있는 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 저비용 사진측량 시스템을 사용하여 콩 식물 줄기의 고해상도 3D 포인트 클라우드를 재구성하였다.
• 효율적인 포인트 클라우드 레이블링을 위한 Meshlab 기반의 Plant Annotator 도구를 개발하였다.
• 원시 포인트 클라우드에서 내재된 구조적 표현을 학습하기 위해 시점 병목 손실(self-supervised loss)을 사용한 딥 네트워크 사전 훈련을 수행하였다.
• 기존에 사전 훈련된 모델을 오직 0.5%의 포인트 수준 레이블링 데이터만을 사용해 기관 수준 분할을 수행하도록 미세조정하였다.
• 훈련된 모델을 활용해 줄기 지름, 잎 너비, 잎 길이의 세 가지 형질 특징을 추출하였다.
• 자체 제작한 콩 데이터와 공개된 Pheno4D 데이터셋을 대상으로 성능 평가를 수행하여 일반화 능력을 평가하였다.

실험 결과

연구 질문

• RQ1 원시 3D 포인트 클라우드에서 자기지도 학습 사전 훈련을 통해 식물 줄기 분할에서 광범위한 인간 레이블링이 필요한가를 줄일 수 있는가?
• RQ2 오직 0.5%의 레이블링된 점만을 사용할 때, 약한 지도 학습 분할 모델의 성능이 완전 지도 학습 기반 모델과 비교해 어떻게 되는가?
• RQ3 제안된 방법이 Pheno4D와 같이 다른 식물 종류와 데이터셋 간에 얼마나 잘 일반화되는가?
• RQ4 분할 모델이 줄기 지름과 잎 치수와 같은 핵심 형질 특징을 신뢰성 있게 추출할 수 있는가?
• RQ5 시점 병목 손실이 비지도 학습 상태에서 식물 포인트 클라우드의 구조적 의미를 효과적으로 포착하는가?

주요 결과

• 약한 지도 학습 모델은 줄기 및 잎 분할에서 정밀도 95.1%, 재현율 96.6%, mIoU 92.2%의 높은 성능을 기록하여 완전 지도 학습 성능에 근접하였다.
• 잎 인스턴스 분할에서는 AP@50 70.3%, AP@25 62.8%, AP 53%를 기록하여 강력한 인스턴스 수준 탐지 능력을 보였다.
• 공개된 Pheno4D 데이터셋으로의 일반화가 잘 되었으며, 다양한 식물 구조와 촬영 조건에서도 안정성을 입증하였다.
• 오직 0.5%의 레이블링된 점만을 사용한 것이 레이블링 비용을 크게 줄였고, 높은 분할 정확도를 유지하였다.
• 분할 파이프라인을 통해 줄기 지름, 잎 너비, 잎 길이의 형질 특징 추출이 성공적으로 수행되었다.
• 시점 병목 손실을 활용한 자기지도 사전 훈련이 원시 포인트 클라우드에서 의미 있는 구조적 표현을 효과적으로 학습하여 후속 미세조정의 효율성을 향상시켰다.