[논문 리뷰] A SAM-based Solution for Hierarchical Panoptic Segmentation of Crops and Weeds Competition

Khoa Dang Nguyen, Thanh-Hai Phung외 1명|arXiv (Cornell University)|2023. 09. 24.

Smart Agriculture and AI인용 수 6

한 줄 요약

이 논문은 농업 환경에서 밀도가 높고 미세한 구조를 가진 작물과 잡초의 계층적 패널오틱 세그멘테이션을 위해, 미세조정된 YOLO-v8과 DINO 객체 검출기 및 HQ-SAM을 융합한 하이브리드 접근법을 제시한다. 검출기에서 생성한 바운딩 박스를 프롬프트로 사용하여 HQ-SAM을 세그멘테이션에 적용한 결과, PhenoBench 데이터셋에서 PQ+ 점수 81.33을 기록하여 기준 모델들을 능가하며, 복잡한 농업 환경에서의 강력한 일반화 능력을 입증한다.

ABSTRACT

Panoptic segmentation in agriculture is an advanced computer vision technique that provides a comprehensive understanding of field composition. It facilitates various tasks such as crop and weed segmentation, plant panoptic segmentation, and leaf instance segmentation, all aimed at addressing challenges in agriculture. Exploring the application of panoptic segmentation in agriculture, the 8th Workshop on Computer Vision in Plant Phenotyping and Agriculture (CVPPA) hosted the challenge of hierarchical panoptic segmentation of crops and weeds using the PhenoBench dataset. To tackle the tasks presented in this competition, we propose an approach that combines the effectiveness of the Segment AnyThing Model (SAM) for instance segmentation with prompt input from object detection models. Specifically, we integrated two notable approaches in object detection, namely DINO and YOLO-v8. Our best-performing model achieved a PQ+ score of 81.33 based on the evaluation metrics of the competition.

연구 동기 및 목표

• 복잡하고 미세한 구조를 가진 작물과 잡초에 대해 정확한 계층적 패널오틱 세그멘테이션을 달성하는 데 도전하는 것.
• 객체 검출 및 세그멘테이션 모델을 융합한 모듈러한 파이프라인을 통해 현장 수준의 식물 형질 분석에서 인스턴스 및 시맨틱 세그멘테이션 성능을 향상시키는 것.
• 고품질 애너테이션을 가진 실제 농업 데이터셋에서 프롬프트 기반 세그멘테이션의 효과를 평가하는 것.
• 대상에 맞는 미세조정, LoRA 적응, 앙상블 검출 전략을 통해 다양한 식물 유형 간의 강건성 향상을 위한 모델 성능 최적화

제안 방법

• 이 방법은 이중 단계 파이프라인을 사용한다: 먼저, 객체 검출 모델(YOLO-v8 및 DINO)이 세그멘테이션을 위한 바운딩 박스 프롬프트를 생성한다.
• 고품질 세그멘테이션을 위한 '고품질에서의 세그멘테이션(SAM)'(HQ-SAM) 모델을 세그멘테이션 백본으로 사용하며, 실제 라벨과 증강된 바운딩 박스를 사용해 PhenoBench 데이터셋에서 미세조정한다.
• HQ-SAM의 미세조정 중에 상자 증강을 적용하여, 검출기 출력의 불완전성에 대비한 강건성을 향상시킨다. 이는 상자 크기의 최대 20픽셀 또는 10% 이내의 무작위 노이즈를 추가함으로써 이루어진다.
• GPU 메모리 효율성을 향상시키고 소비자 수준 하드웨어에서도 학습이 가능하도록, HQ-SAM에 대해 LoRA 미세조정을 적용한다.
• 검출기 출력은 IOU 임계값 0.5를 사용해 중복 제거하며, 추가로 너비와 높이가 50픽셀 초과인 잡초 검출 결과에 대해 필터링을 수행한다.
• 학습에는 AdamW를 사용하고, 성능 향상이 20 에포크 동안 없을 경우 조기 종료를 적용하며, 메모리 효율성을 높이기 위해 혼합 정밀도 학습을 사용한다.

실험 결과

연구 질문

• RQ1 검출기에서 생성한 바운딩 박스를 프롬프트로 사용한 프롬프트 기반 세그멘테이션은 작물과 잡초의 계층적 패널오틱 세그멘테이션에서 높은 성능을 달성할 수 있는가?
• RQ2 상자 증강과 LoRA를 통한 HQ-SAM의 미세조정은 복잡한 농업 환경에서 세그멘테이션 정확도를 어떻게 향상시키는가?
• RQ3 YOLO-v8과 DINO는 PhenoBench 데이터셋에서 다양한 식물 유형(잡초, 작물, 잎)을 감지하는 데 어떻게 비교되는가?
• RQ4 여러 검출기(YOLO-v8과 DINO)를 조합함으로써 검출 및 세그멘테이션의 강건성은 얼마나 향상되는가?
• RQ5 모델 아키텍처 선택(ViT-Base 대비 ViT-Huge)은 이 파이프라인에서 추론 품질과 학습 효율성에 어떤 영향을 미치는가?

주요 결과

• 최고의 성능을 보인 모델은 PhenoBench 데이터셋에서 PQ+ 점수 81.33을 기록하여, Mask R-CNN 및 Mask2Former를 포함한 다른 보고된 방법들을 능가했다.
• YOLO-v8 nano는 더 큰 DINO 모델과 유사한 잡초 감지 성능을 보였으며, 이는 잡초 세그멘테이션에서 높은 효율성과 효과성을 시사한다.
• DINO는 잎과 작물을 감지하는 데 뛰어난 성능을 보였고, YOLO-v8은 잡초 감지에서 뛰어난 성능을 보였으며, 이는 양 모델을 앙상블에 통합하는 데 타당성을 제공한다.
• 검출기에서 생성한 프롬프트를 사용해 미세조정된 HQ-SAM은 실제 라벨 상자만을 사용한 기준 HQ-SAM보다 유의미하게 뛰어난 성능을 보였으며, 종단 간 적응의 가치를 입증했다.
• HQ-SAM의 미세조정 중 LoRA 사용은 메모리 사용을 줄이며 효율적인 파rameter 효율적 적응을 가능하게 하여 소비자급 GPU에서도 학습이 가능하도록 했다.
• 자동 혼합 정밀도(AMP)는 학습 효율성을 향상시켰지만, 잎 감지기의 AP 점수를 낮추는 결과를 보였으며, 이는 혼합 정밀도 사용 시 과제에 따라 상이한 트레이드오프가 존재함을 시사한다.