[논문 리뷰] Efficient identification, localization and quantification of grapevine inflorescences in unprepared field images using Fully Convolutional Networks

Robert Rudolph, Katja Herzog외 2명|arXiv (Cornell University)|2018. 07. 10.

Horticultural and Viticultural Research참고 문헌 18인용 수 6

한 줄 요약

이 논문은 소비자용 카메라를 사용하여 준비되지 않은 현장 이미지에서 포도수풀의 꽃차례와 개별 꽃을 자동으로 비침습적으로 검출하고 국소화하며 정량화하기 위한 완전 컨volution 신경망(FCN) 기반 방법을 제시한다. 이 방법은 꽃차례 분할에 대해 평균 87.6%의 교차합집합(IoU)을 달성하고 꽃 추출에 대해 80.3%의 재현율과 70.7%의 정밀도를 기록하여 육종 및 포도원 관리에서 초기 수확 예측을 위한 고속도, 객관적인 형질 분석을 가능하게 한다.

ABSTRACT

Yield and its prediction is one of the most important tasks in grapevine breeding purposes and vineyard management. Commonly, this trait is estimated manually right before harvest by extrapolation, which mostly is labor-intensive, destructive and inaccurate. In the present study an automated image-based workflow was developed quantifying inflorescences and single flowers in unprepared field images of grapevines, i.e. no artificial background or light was applied. It is a novel approach for non-invasive, inexpensive and objective phenotyping with high-throughput. First, image regions depicting inflorescences were identified and localized. This was done by segmenting the images into the classes "inflorescence" and "non-inflorescence" using a Fully Convolutional Network (FCN). Efficient image segmentation hereby is the most challenging step regarding the small geometry and dense distribution of flowers (several hundred flowers per inflorescence), similar color of all plant organs in the fore- and background as well as the circumstance that only approximately 5% of an image show inflorescences. The trained FCN achieved a mean Intersection Over Union (IOU) of 87.6% on the test data set. Finally, individual flowers were extracted from the "inflorescence"-areas using Circular Hough Transform. The flower extraction achieved a recall of 80.3% and a precision of 70.7% using the segmentation derived by the trained FCN model. Summarized, the presented approach is a promising strategy in order to predict yield potential automatically in the earliest stage of grapevine development which is applicable for objective monitoring and evaluations of breeding material, genetic repositories or commercial vineyards.

연구 동기 및 목표

• 인위적인 배경이나 통제된 조명 없이 실제 현장 조건에서 포도수풀의 꽃차례와 꽃을 자동으로 비침습적이고 고속도로 형질 분석할 수 있는 방법을 개발하기 위해.
• 낮은 픽셀 커버리지(~5%), 식물 기관 간 유사한 색조, 자연 현장 이미지에서의 꽃 집합 밀도 등 도전 과제를 극복하기 위해.
• 과실 형성 이전에 꽃차례와 꽃의 수를 정량화하여 초기 수확 예측을 가능하게 하여 육종 프로그램과 포도원 관리에 기여하기 위해.
• 노동 집약적이고 주관적이며 종종 파괴적인 수작업 형질 분석 방법을 대체하기 위해 객관적이고 확장 가능하며 비용 효율적인 영상 기반 솔루션을 제공하기 위해.

제안 방법

• 완전 컨volution 신경망(FCN)을 사용하여, 준비되지 않은 현장 이미지에서 각 픽셀을 '꽃차례' 또는 '비꽃차례'로 분류하는 의미적 분할을 수행하도록 훈련시켰다.
• 공간적 세부 정보를 유지하기 위해 스킵 연결을 갖춘 U-Net 유사 아키텍처를 사용하여, 작고 조밀한 꽃차례의 정밀한 국소화를 가능하게 하였다.
• GPU에서 1216×1216 픽셀 크기의 이미지 패치를 처리하여 병렬 처리를 극대화하였으며, 패치 스티칭과 가장자리에서의 반사 기반 기법을 사용해 전체 이미지 재구성하였다.
• 분할 이후, 분할된 꽃차례 영역 내에서 개별 꽃을 탐지하기 위해 원형 허프 변환을 적용하였다.
• 시스템은 자연 조명과 현장 조건에서 소비자용 디지털 카메라로 촬영한 실제 현장 이미지 테스트 세트에서 평가되었다.
• 런타임 성능은 표준 랩탑 GPU에서 측정되었으며, 이미지당 분할 처리 시간은 7.8초, 꽃 추출은 4.16초로 총 약 12초의 처리 시간을 기록하였다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션 신경망은 최소한의 사전 처리와 인위적인 배경 없이 준비되지 않은 현장 이미지에서 포도수풀의 꽃차례를 정확하게 분할할 수 있는가?
• RQ2 FCN 기반 분할과 원형 허프 변환의 조합은 조밀한 꽃차례 구조 내에서 개별 꽃을 탐지하는 데 얼마나 효과적인가?
• RQ3 이 파이프라인은 어떤 정도로 초기의 비파괴적이고 고속도의 포도수풀 꽃 피어남 형질의 형질 분석을 가능하게 하여 수확 예측에 기여하는가?
• RQ4 이 방법은 다양한 유전자형과 현장 조건에서 정확도, 객관성, 확장성 측면에서 전통적인 수작업 또는 반자동 접근법을 능가할 수 있는가?

주요 결과

• FCN는 복잡한 자연 현장 이미지에서 꽃차례 영역을 분할하는 데 있어 테스트 세트에서 평균 87.6%의 교차합집합(IoU)을 달성하여 높은 정확도를 입증하였다.
• FCN로 분할된 꽃차례 영역에 원형 허프 변환을 적용한 꽃 추출은 재현율 80.3%와 정밀도 70.7%를 기록하였다.
• 시스템은 약 12초 내에 5472×3648 픽셀의 전체 이미지를 처리하였으며, 분할이 주요 성능 저하 요인으로 나타났다.
• 이 방법은 소비자용 카메라를 사용하여 포도원에서 직접 포도수풀의 꽃차례와 꽃에 대해 신뢰할 수 있고 비침습적이며 확장 가능한 형질 분석을 가능하게 한다.
• 꽃 수와 이후 발달 단계에서의 열매 수를 비교함으로써 이 방법은 초기 수확 예측 및 과실 탈락(coulure) 형질 분석을 지원한다.
• 향후 향상 방안으로는 허프 변환을 CNN 기반 꽃 탐지기로 대체할 수 있으며, 이 경우 개별 꽃에 대한 픽셀 수준의 레이블만 필요로 한다.