[논문 리뷰] Leaf segmentation through the classification of edges

Jonathan Bell, Hannah Dee|arXiv (Cornell University)|2019. 04. 05.

Leaf Properties and Growth MeasurementAgricultural and Biological Sciences참고 문헌 18인용 수 17

한 줄 요약

이 논문은 식물의 잎을 정확하게 세고 면적을 추정할 수 있도록, 중간 정도의 깊이를 가진 합성곱 신경망(CNN)을 사용한 새로운 엣지 분류 방법을 제안한다. 이는 아랍시스 톨리카 식물의 정면 이미지에서 잎을 분할하는 데에 사용되며, 특히 중첩이 심한 경우에도 효과적이다. Canny로 검출된 엣지를 배경, 식물 가장자리, 잎-잎 가장자리, 또는 내부 노이즈로 분류함으로써, 기존 기법보다 우수한 영역 기반 분할 성능을 달성한다.

ABSTRACT

We present an approach to leaf level segmentation of images of Arabidopsis thaliana plants based upon detected edges. We introduce a novel approach to edge classification, which forms an important part of a method to both count the leaves and establish the leaf area of a growing plant from images obtained in a high-throughput phenotyping system. Our technique uses a relatively shallow convolutional neural network to classify image edges as background, plant edge, leaf-on-leaf edge or internal leaf noise. The edges themselves were found using the Canny edge detector and the classified edges can be used with simple image processing techniques to generate a region-based segmentation in which the leaves are distinct. This approach is strong at distinguishing occluding pairs of leaves where one leaf is largely hidden, a situation which has proved troublesome for plant image analysis systems in the past. In addition, we introduce the publicly available plant image dataset that was used for this work.

연구 동기 및 목표

• 잎-잎 중첩이 흔한 로제트 식물에서 잎 수준의 분할 과제를 해결한다.
• 전체 식물 분할을 향상시켜 개별 잎의 수와 면적 추정이 가능하게 하여, 동적 생장 분석에 필수적인 정보를 제공한다.
• 자동화된 형량 측정 시스템에서 흔히 발생하는 저해상도, 초점이 흐린, 왜곡된 이미지에 대해 강건한 방법을 개발한다.
• 향후 식물 영상 분석 및 딥러닝 연구를 지원하기 위해 공개 가능한 고품질 데이터셋을 구축하고 배포한다.
• 학습된 모델이 다양한 데이터셋, 특히 LSC A2 벤치마크에서의 일반화 가능성을 검증하기 위해 이식성(transferability)을 입증한다.

제안 방법

• 분할 파이프라인의 초기 입력으로서 Canny 엣지 검출기를 사용해 정면 식물 이미지의 엣지를 검출한다.
• 각 검출된 엣지를 배경, 식물 가장자리, 잎-잎 가장자리, 또는 내부 잎 노이즈의 네 가지 카테고리로 분류하기 위해 얕은 합성곱 신경망을 학습시킨다.
• 분류된 엣지를 영역 확장 또는 형태학적 분할 알고리즘의 입력으로 사용하여 별개의 잎 영역을 생성한다.
• 기존 방법이 실패하는 중첩 영역에서의 모호함을 해결하기 위해 엣지 분류 결과를 활용한다.
• 재학습 없이도 새로운 이미지에 대해 학습된 CNN을 적용하여, 최소한의 사용자 상호작용으로 고속 형량 측정 시스템에 쉽게 통합할 수 있다.
• 사람의 개입 없이도 확장성과 자동화를 확보하기 위해, 학습된 모델과 분류 후 처리 기반의 이미지 처리 기법에만 의존한다.

실험 결과

연구 질문

• RQ1 얕은 CNN을 사용한 엣지 분류가 기존의 전체 식물 분할 기법에 비해 중첩된 로제트 식물에서 잎 분할 정확도를 향상시키는가?
• RQ2 이 엣지 분류 모델은 LSC A2 벤치마크와 같은 다양한 이미징 환경과 데이터셋 간에 얼마나 잘 일반화되는가?
• RQ3 고속 형량 측정 플랫폼에서 흔히 발생하는 저해상도, 약간의 초점 불일치, 왜곡된 이미지를 얼마나 잘 처리할 수 있는가?
• RQ4 공개된, 주석이 달린 데이터셋(ALED)을 사용함으로써 식물 영상 분석 분야에서 모델의 일반화 능력 향상과 공동체 수용이 어떻게 향상되는가?
• RQ5 이전에 알려진 잎의 형태나 기하학적 모델에 대한 사전 지식 없이도 이 방법이 높은 정확도로 잎 수세기 및 분할을 수행할 수 있는가?

주요 결과

• 제안된 엣지 분류 방법은 특히 잎-잎 겹침 영역에서 심한 중첩 상황에서도 잎 분할 성능이 뛰어나다.
• ALED 데이터셋으로 학습된 모델는 LSC A2 벤치마크 데이터셋으로도 합리적인 수준의 일반화 성능를 보이며, 데이터셋 간 이식 가능성(transferability)을 입증한다.
• 잎 수 측정 결과는 2015년 잎 분할 챌린지에서 보고된 결과와 경쟁하거나 그 이상의 정확도를 달성한다.
• 저해상도(5MP), 약간의 초점 불일치, 바rell 왜곡 등 이미지 품질의 변동성에도 강건함을 보이며, 자동화된 형량 측정 시스템에서 흔히 발생하는 문제들을 잘 해결한다.
• 얕은 CNN을 사용함으로써 효율적인 추론이 가능해져 고속 자동화에 적합하며, 고성능 컴퓨팅 자원이 필요로 하지 않는다.
• 세부 주석이 포함된 ALED 데이터셋의 배포는 식물 영상 분석 및 형량 측정을 위한 딥러닝 분야의 연구 진전을 가속화할 것으로 기대된다.