[논문 리뷰] An Adaptive Approach for Automated Grapevine Phenotyping using VGG-based Convolutional Neural Networks

Jonatan Grimm, Katja Herzog외 4명|arXiv (Cornell University)|2018. 11. 23.

Horticultural and Viticultural Research인용 수 5

한 줄 요약

이 논문은 준비되지 않은 RGB 현장 이미지에서 직접 유전자형 분석을 위한 엔드 투 엔드, VGG 기반의 완전 컨volution 신경망(FCN)을 제안한다. 이 방법은 꽃눈, 열매, 싹, 꽃자리 등을 포함한 주요 식물 기관을 인스턴스 수준의 의미적 세그멘테이션으로 수행하며, 특수 조명이나 사전 처리 없이도 강건하고 비침습적이며 고속의 유전자형 분석을 가능하게 한다. 실험 결과, 여섯 개의 데이터셋에서 세그멘테이션 및 물체 검출 시 최대 87.3%의 IoU와 88.6%의 F1 스코어를 달성하였다.

ABSTRACT

In (grapevine) breeding programs and research, periodic phenotyping and multi-year monitoring of different grapevine traits, like growth or yield, is needed especially in the field. This demand imply objective, precise and automated methods using sensors and adaptive software. This work presents a proof-of-concept analyzing RGB images of different growth stages of grapevines with the aim to detect and quantify promising plant organs which are related to yield. The input images are segmented by a Fully Convolutional Neural Network (FCN) into object and background pixels. The objects are plant organs like young shoots, pedicels, flower buds or grapes, which are principally suitable for yield estimation. In the ground truth of the training images, each object is separately annotated as a connected segment of object pixels, which enables end-to-end learning of the object features. Based on the CNN-based segmentation, the number of objects is determined by detecting and counting connected components of object pixels using region labeling. In an evaluation on six different data sets, the system achieves an IoU of up to 87.3% for the segmentation and an F1 score of up to 88.6% for the object detection.

연구 동기 및 목표

• 포도나무 육종에서의 유전자형 분석 병목 현상을 해결하기 위해 현장에서 객관적이고 정밀하며 자동화된 식물 형질 모니터링을 가능하게 하기 위해.
• 기존 방법의 한계를 극복하기 위해 인공 배경, 야간 플래시 촬영, 또는 Hough 변환과 같은 사후 처리 단계에 의존하는 방법을 개선하기 위해.
• 각 형질에 맞게 재설계하지 않고도 다양한 생장 단계에서 여러 식물 기관을 검출하고 국소화할 수 있는 일반화 가능한 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 소비자용 카메라와 표준 이미지 촬영 방식을 사용하여 대규모 육종 집단 및 유전자 자료집의 고속, 비침습적 유전자형 분석을 가능하게 하기 위해.

제안 방법

• 픽셀 수준의 주석을 기반으로 엔드 투 엔드로 훈련된 VGG 기반의 완전 컨볼루션 신경망(FCN)을 사용하여 RGB 이미지 내 식물 기관의 의미적 세그멘테이션을 수행한다.
• 각 개별 기관(예: 단일 열매 또는 꽃눈)이 연결된 성분으로 레이블링된 인스턴스 수준의 주석을 사용하여 객체 특징을 직접 학습할 수 있도록 한다.
• 세그멘테이션 이후 물체 검출 및 수량 세기 위해 영역 레이블링(연결 성분 분석)을 적용하여 CHT나 Hough 변환과 같은 모델 전용 검출 단계가 필요 없도록 한다.
• 희귀하거나 작은 객체 성능 향상을 위해 클래스 균형 잡힌 샘플링을 사용한 교차 엔트로피 손실을 사용하여 네트워크를 훈련한다.
• 속도와 정확도의 균형을 맞추기 위해 테스트 이미지를 겹치는 또는 겹치지 않는 패치로 처리하며, 사후 처리 후 이미지당 추론 시간이 10초 이내이다.
• 새로운 주석 데이터로 재훈련함으로써 아키텍처 변경 없이도 준비되지 않은 현장 이미지, 인공 배경 이미지, 모바일 유전자형 분석 플랫폼 데이터, 실험실 이미지 등 다양한 데이터 유형에 모델을 적응시킬 수 있다.

실험 결과

연구 질문

• RQ1 준비되지 않은 자연적인 현장 이미지에서 하나의 엔드 투 엔드로 훈련 가능한 CNN 기반 세그멘테이션 모델이 꽃눈, 열매, 싹과 같은 여러 포도나무 기관을 정확하게 검출하고 국소화할 수 있는가?
• RQ2 엔드 투 엔드 인스턴스 수준의 세그멘테이션은 Hough 변환 등의 단계별 접근 방식(예: ROI 검출 후 Hough 변환)에 비해 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ3 동일한 모델이 자연 배경과 인공 배경, 현장과 실험실 환경 등 다양한 촬영 조건과 생장 단계에서 얼마나 일반화 가능한가?
• RQ4 겹치는 패치와 겹치지 않는 패치를 사용할 경우 추론 속도와 세그멘테이션 정확도 사이의 상충 관계는 어떠한가?
• RQ5 이 방법은 최소한의 수동 개입으로 대규모 집단(예: 육종 프로그램, 유전자 자료집)의 고속 유전자형 분석을 지원할 수 있는가?

주요 결과

• 최고 성능을 보인 데이터셋에서 평균 교차율(IoU) 스코어가 최대 87.3%에 도달하여 자연 배경 내 복잡한 식물 기관에 대해 높은 세그멘테이션 정확도를 입증하였다.
• 물체 검출 및 국소화의 F1 스코어가 최대 88.6%에 도달하여 이전의 단계별 접근 방식(예: Rudolph 등, 2019)이 같은 작업에서 달성한 75.2% F1 스코어를 크게 초월하였다.
• 준비되지 않은 현장 이미지에서 꽃눈 검출의 F1 스코어가 86.7%에 도달하여 이전 최고 성능 기준 75.2%의 F1 스코어를 뛰어넘었으며, 해당 연구에서 ROI의 진짜값 기준 80.0% F1 스코어를 초월하였다.
• 세그멘테이션 추론 시간은 사후 처리 후 이미지당 10초 이내였으며, 이는 고속 응용에 적합한 파이프라인임을 시사한다.
• 이 방법은 적응 가능하다: 새로운 주석 데이터로 네트워크를 재훈련함으로써 아키텍처 변경 없이도 어떤 식물 기관이라도 검출할 수 있다.
• 꽃눈 주석 시 소요 시간이 길었음에도 불구하고(예: 꽃눈의 경우 1장당 약 35분), 인스턴스 수준 주석의 높은 정확도 덕분에 이전 연구에서 사용된 조잡한 다각형 주석보다 훨씬 뛰어난 모델 성능을 달성하였다.