[논문 리뷰] Counting and Segmenting Sorghum Heads

Min-hwan Oh, Peder A. Olsen외 1명|arXiv (Cornell University)|2019. 05. 30.

Wood and Agarwood Research참고 문헌 55인용 수 13

한 줄 요약

이 논문은 항공 영상에서 사탕무 이삭의 자동 세기 및 인스턴스 세분화를 위한 이단계 딥러닝 프레임워크를 제안한다. 이는 세기용으로 새로운 밀도 지도 기반 CNN을 사용하고, 세분화에는 가림을 고려한 클러스터링 알고리즘을 사용한다. 세기 작업에서는 평균 절대 오차(MAE)가 1.06이며, 인스턴스 세분화에서는 mAP가 0.66로, CSRNet과 같은 최신 기술 및 전통적 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Phenotyping is the process of measuring an organism's observable traits. Manual phenotyping of crops is a labor-intensive, time-consuming, costly, and error prone process. Accurate, automated, high-throughput phenotyping can relieve a huge burden in the crop breeding pipeline. In this paper, we propose a scalable, high-throughput approach to automatically count and segment panicles (heads), a key phenotype, from aerial sorghum crop imagery. Our counting approach uses the image density map obtained from dot or region annotation as the target with a novel deep convolutional neural network architecture. We also propose a novel instance segmentation algorithm using the estimated density map, to identify the individual panicles in the presence of occlusion. With real Sorghum aerial images, we obtain a mean absolute error (MAE) of 1.06 for counting which is better than using well-known crowd counting approaches such as CCNN, MCNN and CSRNet models. The instance segmentation model also produces respectable results which will be ultimately useful in reducing the manual annotation workload for future data.

연구 동기 및 목표

• 사탕무 이삭의 수작업 형질 측정이 고된 데 기인한 육종의 성능 저하 문제를 해결하기 위해.
• 항공 영상에서 사탕무 이삭의 자동 세기 및 인스턴스 세분화를 위한 확장성 있고 고성능의 방법을 개발하기 위해.
• annotation 도구에 통합할 수 있는 거의 무료의 인스턴스 세분화를 통해 수동 annotation 작업량을 줄이기 위해.
• 수량의 단조성 및 온도에 따른 생장 패턴과 같은 사전 지식을 딥러닝 모델에 통합하기 위해.

제안 방법

• 이중 단계 CNN 아키텍처를 사용한다: 첫 번째 단계는 이삭 픽셀을 탐지하고, 두 번째 단계는 세기용 밀도 지도를 추정한다.
• 밀도 지도는 점 또는 영역 annotation으로부터 생성되며, 이는 세기 네트워크 학습의 대상이 된다.
• 새로운 클러스터 적합도 함수는 분산 최소화와 목표 값 β에 대한 밀도 질량 근접도를 조합하여, 이삭 슈퍼픽셀의 강건한 클러스터링을 가능하게 한다.
• 그리디한 하향식 클러스터링은 적합도 향상 기반으로 클러스터 쌍을 병합하며, 초기 클러스터는 개별 이삭 슈퍼픽셀이다.
• 인스턴스 세분화는 추정된 밀도 지도와 탐지된 이삭 영역을 입력으로 사용하여, 가림 상태에서도 개별 이삭을 식별한다.
• 예측된 이삭과 진짜 이격을 정렬하기 위해 헝가리안 알고리즘을 적용하여 정확한 IoU 계산 및 mAP 평가를 수행한다.

실험 결과

연구 질문

• RQ1 밀도 지도를 기반으로 학습된 딥러닝 모델이 기존의 군중 세기 방법보다 항공 사탕무 영상에서 더 뛰어난 이삭 세기 성능을 달성할 수 있는가?
• RQ2 부분적으로 겹치거나 뭉쳐 있는 이삭 세분화에서 가림을 고려한 클러스터링 접근법의 효과는 어떠한가?
• RQ3 예측된 인스턴스 세분화가 향후 데이터 수집 파이프라인에서 수동 annotation의 필요성을 얼마나 줄일 수 있는가?
• RQ4 수량의 단조성 및 온도 의존성과 같은 사전 지식 제약 조건이 세기 모델의 강인성과 정확도를 얼마나 향상시키는가?

주요 결과

• 제안된 세기 모델은 평균 절대 오차(MAE)가 1.06을 기록하여 CSRNet(MAE 1.19) 및 기타 최신 기술보다 뛰어난 성능을 보였다.
• 인스턴스 세분화 모델은 IoU 임계치 0.5에서 평균 정밀도(mAP)가 0.66을 달성하여 복잡하고 가려진 이삭 환경에서도 뛰어난 성능을 보였다.
• 수량의 단조성 및 온도 의존성과 같은 사전 지식의 통합은 다양한 생장 단계에서 모델의 일반화 능력과 안정성을 향상시켰다.
• 클러스터 기반 세분화 방법은 계산적으로 효율적이며 실시간 GUI 통합에 적합하여 annotation 워크플로우에서 재사용이 가능했다.
• 이 방법은 거의 무료의 인스턴스 세분화를 통해 수동 annotation 부담을 크게 줄였으며, 반복적으로 개선할 수 있도록 했다.
• 공개된 사탕무 영상에 대한 실험을 통해 딥러닝 기반 세기 방법, 특히 제안된 모델이 대부분의 경우 비딥러닝 기반 기준보다 뛰어난 성능을 보였다.