[논문 리뷰] PRMI: A Dataset of Minirhizotron Images for Diverse Plant Root Study

Weihuang Xu, Guohao Yu외 11명|arXiv (Cornell University)|2022. 01. 20.

Plant nutrient uptake and metabolism인용 수 7

한 줄 요약

이 논문은 6개 식물 종류—면화, 파파야, 땅콩, 참깨, 해바라기, 스위치그래스—에 걸쳐 총 72,000장의 미니리조트론 RGB 이미지를 포함하는 대규모 데이터셋인 PRMI를 소개한다. 이 데이터셋은 이미지 수준 및 픽셀 수준의 레이블을 모두 포함하고 있으며, 루트 세그멘테이션을 위한 지도 학습 및 약한 지도 학습을 가능하게 한다. U-Net은 다양한 토양 및 루트 조건에서 평균 IoU가 35%에 그쳐, 루트 세그멘테이션의 과제가 높음을 시사한다.

ABSTRACT

Understanding a plant's root system architecture (RSA) is crucial for a variety of plant science problem domains including sustainability and climate adaptation. Minirhizotron (MR) technology is a widely-used approach for phenotyping RSA non-destructively by capturing root imagery over time. Precisely segmenting roots from the soil in MR imagery is a critical step in studying RSA features. In this paper, we introduce a large-scale dataset of plant root images captured by MR technology. In total, there are over 72K RGB root images across six different species including cotton, papaya, peanut, sesame, sunflower, and switchgrass in the dataset. The images span a variety of conditions including varied root age, root structures, soil types, and depths under the soil surface. All of the images have been annotated with weak image-level labels indicating whether each image contains roots or not. The image-level labels can be used to support weakly supervised learning in plant root segmentation tasks. In addition, 63K images have been manually annotated to generate pixel-level binary masks indicating whether each pixel corresponds to root or not. These pixel-level binary masks can be used as ground truth for supervised learning in semantic segmentation tasks. By introducing this dataset, we aim to facilitate the automatic segmentation of roots and the research of RSA with deep learning and other image analysis algorithms.

연구 동기 및 목표

• 미니리조트론 이미지의 수작업 레이블링이 시간이 오래 걸리는 문제로 인한 식물 루트 형질 분석의 정체를 해결하기 위해.
• 이중 이미지 수준 및 픽셀 수준의 레이블을 포함한 다각도로 다양하고 대규모인 데이터셋을 제공함으로써 딥 러닝을 이용한 자동화된 루트 세그멘테이션 알고리즘 개발을 지원하기 위해.
• 여러 종류의 식물, 토양 종류, 루트 연령 및 깊이를 포함하는 데이터셋을 제공함으로써 전이 학습, 소수의 샘플 학습, 데이터 분포 이동 연구를 촉진하기 위해.
• 컴퓨터 비전과 식물 과학 간 격차를 메우기 위해 공개 가능하고 고품질의 루트 시스템 구조(RSA) 분석을 위한 데이터셋을 제공하기 위해.
• 높은 클래스 불균형과 변동성이 큰 루트 가시성을 포함한 현실적인 현장 조건에서 복잡한 조건에서 세그멘테이션 모델의 벤치마킹을 가능하게 하기 위해.

제안 방법

• 데이터셋은 여러 현장에서 수집된 미니리조트론 이미지에서 편집되었으며, 루트 성장을 시간에 따라 촬영하기 위해 45도 기울기로 설치된 투명한 튜브를 사용하였다.
• 각 이미지에 대해 루트의 유무를 나타내는 이미지 수준의 레이블이 부여되어 약한 지도 학습을 지원하였다.
• 63,000장 이상의 이미지가 수작업으로 픽셀 수준의 이진 마스크로 레이블링되어, 루트 픽셀과 토양 픽셀을 구분할 수 있도록 하였다. 이는 지도 학습 기반의 의미 세그멘테이션을 가능하게 하였다.
• 두 가지 레이블링 전략을 사용하였다: 슈퍼픽셀 기반 추적 및 U-Net 예측의 정밀 조정을 통해 효율성과 정확도를 향상시켰다.
• 데이터 유출을 방지하기 위해 미니리조트론 튜브 기반으로 데이터 분할을 생성하였으며, 각 종류별로 60% 학습, 20% 검증, 20% 테스트로 구성하였다(스위치그래스의 경우 모든 진짜 레이블 이미지를 테스트용으로 확보하였다).
• IoU 및 F1 스코어를 평가 지표로 사용하여, 학습 세트에서 훈련하고 테스트 세트에서 평가한 기준 모델(U-Net 및 IRNet)을 사용하였다.

실험 결과

연구 질문

• RQ1 다양한 토양 및 루트 조건에서 복잡한 미니리조트론 이미지에서 딥 러닝 모델이 루트를 세그멘테이션하는 데 얼마나 효과적인가?
• RQ2 실제 미니리조트론 데이터에서 루트 픽셀과 토양 픽셀 간의 클래스 불균형이 세그멘테이션 성능에 어느 정도 영향을 미치는가?
• RQ3 루트가 흐리고 토양과 시각적으로 구분되지 않을 경우, CAM 기반 약한 지도 학습 모델의 성능은 어떠한가?
• RQ4 이 데이터셋을 활용해 다양한 식물 종류와 토양 종류 간에 전이 학습을 효과적으로 적용할 수 있는가?
• RQ5 면화와 스위치그래스처럼 루트 형태와 가시성에 차이가 나는 종 간에 모델 성능은 어떻게 변하는가?

주요 결과

• U-Net 모델은 모든 종에서 평균 IoU 스코어가 35%를 기록하여, 이 데이터셋이 세그멘테이션 작업에 있어 매우 도전적인 난이도를 지닌다는 것을 시사한다.
• 파파야는 가장 높은 성능을 보였으며, IoU는 56.0%이고 F1 스코어는 0.718이었다. 이는 더 일관된 루트 가시성과 더 쉬운 세그멘테이션을 의미한다.
• 면화와 해바라기는 가장 낮은 IoU 스코어(각각 4.8% 및 29.7%)를 기록하여, 루트의 희박한 존재와 높은 세그멘테이션 난이도를 반영한다.
• IRNet 모델(약한 지도 학습 기반의 CAM 기반 방법)은 평균 IoU가 단지 2.2%에 그쳐, 루트가 희박하거나 가림을 입을 경우 관련 특징을 집중하기 어려운 과제를 드러낸다.
• 이 데이터셋은 심각한 클래스 불균형을 보이며, 토양 픽셀이 루트 픽셀보다 훨씬 많아, 모델들이 토양을 예측하도록 편향된다.
• 이중 이미지 수준 및 픽셀 수준의 레이블이 포함되어 있어, 동일한 데이터에서 약한 지도 학습 및 완전한 지도 학습 세그멘테이션 모델의 훈련과 평가가 가능해졌다.