[논문 리뷰] Leaf Only SAM: A Segment Anything Pipeline for Zero-Shot Automated Leaf Segmentation

Dominic Williams, Fraser Macfarlane외 1명|arXiv (Cornell University)|2023. 05. 16.

Smart Agriculture and AIAgricultural and Biological Sciences인용 수 3

한 줄 요약

이 논문은 학습 데이터나 애너테이션을 필요로 하지 않고, 사전 훈련된 Segment Anything Model(SAM)을 활용하고 후처리를 적용하여 감자 잎을 자동으로 분할하는 제로샷 파이프라인인 Leaf Only SAM을 제안한다. 비록 미세조정된 Mask R-CNN(74.7 정밀도, 78.7 재현율)에 비해 정밀도(60.3)와 재현율(63.2)이 낮지만, 비용이 많이 드는 데이터 애너테이션의 필요성을 제거함으로써 식물 형질 분석 분야에서 높은 잠재력을 보여준다.

ABSTRACT

Segment Anything Model (SAM) is a new foundation model that can be used as a zero-shot object segmentation method with the use of either guide prompts such as bounding boxes, polygons, or points. Alternatively, additional post processing steps can be used to identify objects of interest after segmenting everything in an image. Here we present a method using segment anything together with a series of post processing steps to segment potato leaves, called Leaf Only SAM. The advantage of this proposed method is that it does not require any training data to produce its results so has many applications across the field of plant phenotyping where there is limited high quality annotated data available. We compare the performance of Leaf Only SAM to a Mask R-CNN model which has been fine-tuned on our small novel potato leaf dataset. On the evaluation dataset, Leaf Only SAM finds an average recall of 63.2 and an average precision of 60.3, compared to recall of 78.7 and precision of 74.7 for Mask R-CNN. Leaf Only SAM does not perform better than the fine-tuned Mask R-CNN model on our data, but the SAM based model does not require any extra training or annotation of our new dataset. This shows there is potential to use SAM as a zero-shot classifier with the addition of post processing steps.

연구 동기 및 목표

• 식물 형질 분석에서 애너테이션된 학습 데이터가 필요 없는 제로샷 잎 분할 파이프라인을 개발하는 것.
• SAM에 후처리를 조합함으로써 미세조정 없이도 잎 영역을 효과적으로 분리할 수 있는지 평가하는 것.
• 새로운 감자 잎 데이터셋에서 제안된 방법과 미세조정된 Mask R-CNN 간의 성능을 비교하는 것.
• 기초 모델인 SAM이 도메인 특화 후처리와 결합될 경우 특정 생물학적 분할 작업에 대해 제로샷 분류기로 사용될 수 있는지 입증하는 것.

제안 방법

• 모델은 사전 훈련된 Segment Anything Model(SAM)을 사용해 이미지 내 모든 객체, 포함 잎까지 마스크를 생성한다.
• 잎 영역에 해당하는 마스크만 유지하기 위해 후처리 파이프라인을 적용한다.
• 필터링 과정은 면적, 종횡비, 윤곽 형태와 같은 기하학적 및 형태학적 특징에 기반하여 잎 이외의 객체와 잎을 구분한다.
• 모델의 미세조정이나 추가 애너테이션 없이도, 감자 식물 이미지에 대해 엔드 투 엔드로 파이프라인을 적용한다.
• 이 방법은 SAM의 제로샷 일반화 능력을 활용해 원시 이미지에서 직접 잎을 분할한다.
• 최종 출력은 후속 형질 분석 응용에 적합한 오직 잎 영역만 식별하는 이진 마스크이다.

실험 결과

연구 질문

• RQ1 미세조정이나 레이블이 없는 조건에서 후처리만으로 SAM을 효과적으로 제로샷 잎 분할에 적응시킬 수 있는가?
• RQ2 새로운 감자 잎 데이터셋에서 SAM 기반 파이프라인의 성능은 미세조정된 Mask R-CNN에 비해 어떻게 비교되는가?
• RQ3 SAM의 전체 인스턴스 분할 출력에서 잎 마스크를 효과적으로 분리하는 데 가장 유용한 형태학적 및 기하학적 특징은 무엇인가?
• RQ4 도메인 특화 후처리와 결합될 경우, 기초 모델인 SAM이 식물 형질 분석에서 얼마나 효과적으로 제로샷 분류기로 기능할 수 있는가?
• RQ5 학습 데이터의 부재가 특정 잎 작업의 분할 정확도에 상당한 영향을 미치는가?

주요 결과

• Leaf Only SAM는 평가 데이터셋에서 평균 재현율 63.2와 평균 정밀도 60.3을 기록했다.
• 동일한 데이터셋에서 미세조정된 Mask R-CNN는 78.7 재현율과 74.7 정밀도로 Leaf Only SAM를 초월했다.
• 낮은 성능 지표에도 불구하고, SAM 기반 방법은 학습 데이터나 애너테이션 없이도 제로샷 장점을 보여주었다.
• 후처리 파이프라인은 SAM의 초기 분할 마스크에서 형태와 크기 제약 조건을 활용해 효과적으로 잎 영역을 분리했다.
• 결과는 SAM이 도메인 특화 최소화로도 잎 분할을 위한 제로샷 분류기로 재사용될 수 있음을 확인했다.
• 애너테이션 데이터가 부족하거나 확보되지 않은 식물 형질 분석 응용 분야에서 이 방법은 높은 잠재력을 보여준다.