[논문 리뷰] Stem-leaf segmentation and phenotypic trait extraction of maize shoots from three-dimensional point cloud

Chao Zhu, Miao Teng외 3명|arXiv (Cornell University)|2020. 09. 07.

Smart Agriculture and AI참고 문헌 30인용 수 5

한 줄 요약

이 논문은 뼈대 추출, 굵은 분할, 줄기-잎 분류를 통한 3D 포인트 클러스터 기반의 자동 줄기-잎 분할 및 형질 추출을 위한 새로운 방법을 제안한다. 이 방법은 높은 정확도(평균 F1 점수 0.963)를 달성하며, 조밀하게 감싸인 새잎이 있는 경우에도 여섯 가지 핵심 형질을 정밀하게 측정할 수 있으며, R² > 0.94를 기록한다.

ABSTRACT

Nowadays, there are many approaches to acquire three-dimensional (3D) point clouds of maize plants. However, automatic stem-leaf segmentation of maize shoots from three-dimensional (3D) point clouds remains challenging, especially for new emerging leaves that are very close and wrapped together during the seedling stage. To address this issue, we propose an automatic segmentation method consisting of three main steps: skeleton extraction, coarse segmentation based on the skeleton, fine segmentation based on stem-leaf classification. The segmentation method was tested on 30 maize seedlings and compared with manually obtained ground truth. The mean precision, mean recall, mean micro F1 score and mean over accuracy of our segmentation algorithm were 0.964, 0.966, 0.963 and 0.969. Using the segmentation results, two applications were also developed in this paper, including phenotypic trait extraction and skeleton optimization. Six phenotypic parameters can be accurately and automatically measured, including plant height, crown diameter, stem height and diameter, leaf width and length. Furthermore, the values of R2 for the six phenotypic traits were all above 0.94. The results indicated that the proposed algorithm could automatically and precisely segment not only the fully expanded leaves, but also the new leaves wrapped together and close together. The proposed approach may play an important role in further maize research and applications, such as genotype-to-phenotype study, geometric reconstruction and dynamic growth animation. We released the source code and test data at the web site https://github.com/syau-miao/seg4maize.git

연구 동기 및 목표

• 새로 우거진 밀도 높은 잎이 있는 옥수수 묘수에서 자동 줄기-잎 분할 문제를 해결하기 위해.
• 옥수수 식물의 3D 포인트 클러스터에서 형질을 자동으로 추출할 수 있는 강력한 방법을 개발하기 위해.
• 유전자형-형질 연구 및 식물 생장 모델링에 활용 가능한 정확하고 고속의 형질 측정을 가능하게 하기 위해.
• 정확한 기하학적 및 형태학적 데이터 추출을 통해 동적 식물 재구성 및 생장 애니메이션을 지원하기 위해.

제안 방법

• 먼저, 식물의 중심축을 나타내기 위해 그래프 기반 접근 방식을 사용해 옥수수 식물의 3D 포인트 클러스터에서 뼈대를 추출한다.
• 둘째, 기하학적 근접도와 곡률 분석을 기반으로 뼈대를 바탕으로 굵은 분할을 수행하여 줄기 및 잎 영역을 분리한다.
• 셋째, 분할된 영역의 기하학적 및 공간적 특징을 기반으로 훈련된 줄기-잎 분류 모델을 통해 정밀한 분할을 달성한다.
• 다중 척도 필터링과 영역 성장 기법을 통합하여 조밀하고 겹치는 잎의 구조에서도 분할 정확도를 향상시킨다.
• 식물 높이, 冠지름, 줄기 높이/지름, 잎 길이/너비와 같은 형질은 기하 측정을 통해 분할된 포인트 클러스터에서 추출된다.
• 성능을 정량화하기 위해 30개의 옥수수 묘수에서 알고리즘 출력 결과를 수작업 기준값과 비교하는 검증 파이프라인을 구축한다.

실험 결과

연구 질문

• RQ1 3D 포인트 클러스터 기반의 방법이 조밀하게 감싸인 새로 우거진 옥수수 잎을 줄기 및 다른 잎에서 정확하게 분할할 수 있는가?
• RQ2 제안된 방법이 3D 포인트 클러스터에서 식물 높이 및 잎 치수와 같은 핵심 형질을 얼마나 잘 추출할 수 있는가?
• RQ3 다양한 잎 성숙 단계와 공간 구성 조건에서 분할 성능이 어느 정도 유지되는가?
• RQ4 이 방법이 옥수수 육종 및 기능성 게놈학에서 자동 고속 형질 측정을 지원할 수 있는가?
• RQ5 정밀도, 재현율 및 F1 점수 측면에서 수작업 애너테이션에 비해 알고리즘이 얼마나 잘 작동하는가?

주요 결과

• 제안된 분할 방법은 평균 F1 점수 0.963을 달성하여 줄기 및 잎 영역를 구분하는 데 높은 정밀도와 재현율을 보였다.
• 평균 정밀도는 0.964, 평균 재현율은 0.966로, 참 양성(true positive)을 정확히 식별하고 거짓 양성(false positive)을 최소화하는 데 뛰어난 균형을 보였다.
• 평균 과도 정확도(over-accuracy) 0.969는 테스트된 30개의 옥수수 묘수 전반에서 분할의 강건성을 확인한다.
• 식물 높이, 코어너지름, 줄기 높이 및 지름, 잎 길이 및 너비와 같은 여섯 가지 형질은 모두 기준값과 강한 상관관계(R² > 0.94)를 보이며 정확하게 추출되었다.
• 이 방법은 완전히 펼쳐진 잎뿐 아니라 조밀하게 감싸인 새잎까지도 성공적으로 분할하여 초기 단계의 옥수수 형질 측정에서 주요 과제를 해결했다.
• 소스 코드와 테스트 데이터가 공개되어 있어 식물 형질 측정 연구 분야에서 재현성과 광범위한 응용 가능성을 확보하였다.