[논문 리뷰] Deep Leaf Segmentation Using Synthetic Data

Daniel B. Ward, Peyman Moghadam외 1명|arXiv (Cornell University)|2018. 07. 28.

Smart Agriculture and AI참고 문헌 11인용 수 73

한 줄 요약

본 논문은 Blender 기반 파이프라인으로 합성된 Arabidopsis 잎을 통해 잎 인스턴스 분할의 제한된 실제 학습 데이터를 보강하고, 실제 데이터와 합성 데이터를 결합했을 때 CVPPP LSC에서 특히 최첨단 결과를 달성했습니다.

ABSTRACT

Automated segmentation of individual leaves of a plant in an image is a prerequisite to measure more complex phenotypic traits in high-throughput phenotyping. Applying state-of-the-art machine learning approaches to tackle leaf instance segmentation requires a large amount of manually annotated training data. Currently, the benchmark datasets for leaf segmentation contain only a few hundred labeled training images. In this paper, we propose a framework for leaf instance segmentation by augmenting real plant datasets with generated synthetic images of plants inspired by domain randomisation. We train a state-of-the-art deep learning segmentation architecture (Mask-RCNN) with a combination of real and synthetic images of Arabidopsis plants. Our proposed approach achieves 90% leaf segmentation score on the A1 test set outperforming the-state-of-the-art approaches for the CVPPP Leaf Segmentation Challenge (LSC). Our approach also achieves 81% mean performance over all five test datasets.

연구 동기 및 목표

• 잎 인스턴스 분할을 위한 라벨링된 데이터가 식물 표현형 분석에서 부족한 문제를 해결한다.
• 도메인 무작위화를 활용한 Arabidopsis 잎의 합성 데이터 생성 파이프라인을 제안한다.
• CVPPP Leaf Segmentation Challenge 결과에 대해 실제, 합성, 혼합 학습 데이터의 영향을 평가한다.

제안 방법

• ResNet101 백본의 Mask-RCNN을 실제 CVPPP A1 데이터와 10,000장의 합성 식물 이미지의 혼합으로 학습한다.
• Blender에서 단일 인스피레이션 잎을 설계하고 잎을 변형시키고 텍스처링하며 로제트를 형성하도록 배치하여 합성 Arabidopsis 식물을 생성한다.
• 합성 잎을 다양한 텍스처(30개 텍스처)와 배경(무작위 식물 화분 배경)으로 렌더링하고 배경과의 블렌딩을 위해 가우시안 블러를 적용한다.
• 실제 데이터와 합성 데이터의 균형 잡힌 배치를 사용하고 표준 데이터 증강(뒤집기, 회전, 확대/축소, 자르기)을 적용한다.
• 도메인 무작화 접근법과 비교하기 위해 피처 추출기를 고정하는 실험을 수행한다.

실험 결과

연구 질문

• RQ1 합성 식물 이미지는 CVPPP LSC에서 실제 데이터와 결합했을 때 잎 인스턴스 분할을 개선할 수 있는가?
• RQ2 합성 데이터의 텍스처 변화와 배경 무작위화가 분할 성능에 어떤 영향을 미치는가?
• RQ3 사전 학습된 특성의 고정이 합성 데이터와 상호작용하여 변형 가능 식물 모델에 긍정적/부정적 영향을 주는가?
• RQ4 합성 데이터가 실제 잎 기하학을 종 간 일치시키는 데 한계가 있는가(Arabidopsis vs tobacco)?

주요 결과

훈련 방법	A1	A2	A3	A4	A5	Mean (if provided)
CVPPP-A1 (real)	87	71	59	73	70	71
Synthetic-plant	81	69	41	84	73	74
Synthetic-leaf	82	74	32	86	75	74
Synthetic-COCO	57	48	25	48	43	44
Synthetic+real	90	81	51	88	82	81

• 실제 및 합성 데이터를 모두 사용한 학습(Synthetic+real)은 A1에서 90.0 SBD, A2에서 81.0, A3에서 51.0, A4에서 88, A5에서 82를 달성하고 다섯 개 테스트 세트의 평균은 81이다.
• 합성 데이터만으로는 일반적으로 A1, A2, A4에서 실제 데이터보다 낮은 성능을 보이지만 텍스처 변화가 제어될 때 일부 세트에서 실제 데이터를 능가한다.
• 잎 당 텍스처(Synthetic-leaf)는 A3를 제외한 대부분의 테스트 세트에서 성능을 향상시키며 변형 가능 잎의 텍스처 현실성의 중요성을 보여준다.
• COCO에서 샘플링된 무작위 텍스처(Synthetic-COCO)는 최악의 성능을 보이며 도메인에 적합한 텍스처의 필요성을 강조한다.
• 실제 및 합성 데이터를 혼합하면 전반적으로 가장 좋은 일반화 성능을 제공하고 배경 아티팩트(예: 기준 마커)로 인한 거짓 양성을 줄인다.
• 합성 데이터 학습 시 피처 추출기 고정은 본 연구에서 성능을 저하시켰으며, 이는 변형 가능 식물 기하가 일부 도메인 적응 접근법의 고정물 가정에 도전이 됨을 시사한다.