[논문 리뷰] An Image Labeling Tool and Agricultural Dataset for Deep Learning

Patrick Wspanialy, Justin Brooks외 1명|arXiv (Cornell University)|2020. 04. 06.

Smart Agriculture and AI참고 문헌 13인용 수 12

한 줄 요약

이 논문은 农业 컴퓨터 시각 분야의 발전을 위해 새로운 이미지 레이블링 툴과 식물 개체를 포함한 환경(Plant Objects in COntext, POCO) 데이터셋을 소개한다. 이 툴은 자유형 다각형과 화액 채우기(flood fill)를 지원하여 수동, 반자동, 자동 레이블링을 가능하게 하여 식물 부위 및 병변 부위의 정밀 분할을 가능하게 한다. 데이터셋은 확장된 COCO 표준 형식을 사용하며, POCO 메타데이터를 포함하고 있으며, 온실, PlantVillage, 웹 기반 이미지에서 10,000개의 토마토, 7,000개의 잎, 2,000개의 줄기, 2,000개의 병변 잎 레이블을 포함한다.

ABSTRACT

We introduce a labeling tool and dataset aimed to facilitate computer vision research in agriculture. The annotation tool introduces novel methods for labeling with a variety of manual, semi-automatic, and fully-automatic tools. The dataset includes original images collected from commercial greenhouses, images from PlantVillage, and images from Google Images. Images were annotated with segmentations for foreground leaf, fruit, and stem instances, and diseased leaf area. Labels were in an extended COCO format. In total the dataset contained 10k tomatoes, 7k leaves, 2k stems, and 2k diseased leaf annotations.

연구 동기 및 목표

• 딥 러닝을 위한 대규모, 공개 가능하고 잘 구조화된 农业 이미지 데이터셋 부족 문제를 해결하기 위해.
• 잎과 과일과 같이 복잡하고 곡선을 띠는 자연적 객체를 다루는 데에 기존 레이블링 툴의 한계를 극복하기 위해.
• COCO 생태계와 호환 가능한 표준화된 데이터셋 형식을 통해 재현 가능한 연구 및 벤치마킹을 가능하게 하기 위해.
• 식물 부위, 병변, 발달 단계의 픽셀 수준 분할을 통해 农业 분야의 고급 시나리오 이해를 가능하게 하기 위해.
• 숙성 단계, 식물 ID, 동적 골격 구조와 같은 메타데이터를 포함한 다중 모odal 레이블링을 지원하기 위해.

제안 방법

• 키보드/마우스 단축키와 마우스 제스처를 지원하는 맞춤형 이미지 레이블링 툴을 개발하여 레이블링 효율을 향상시켰다.
• 클릭-드래그-릴리즈를 통해 초기 경계를 생성하는 자유형 다각형 툴을 도입하였으며, 조정 가능한 정밀도와 정점 편집 기능을 통해 정밀 조정이 가능하도록 하였다.
• 균일한 색상 영역을 선택하고 조정 가능한 색상 허용 오차 및 정점 수를 가진 봉화 채우기 툴을 구현하여 둘레 다각형을 생성하였다.
• 역할 기반 접근 제어를 통한 다중 사용자 레이블링을 구현하여, 사용자가 빈 이미지 또는 다른 사용자의 작업 복사본으로 시작함으로써 일관성과 정확도를 향상시켰다.
• COCO JSON 기반의 데이터셋 형식을 설계하였으며, 숙성 단계, 식물 ID, 각 레이블링에 대한 골격 구조와 같은 식물 전용 메타데이터를 위한 'poco' 속성을 추가로 확장하였다.
• 데이터셋을 식물 부위, 병해충/병변, 시간 경과에 따른 식물 발달의 세 가지 서브셋으로 구성하여 목적에 맞는 응용을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 어떻게 복잡하고 자연스럽게 곡선을 띠는 농업 객체, 예를 들어 잎과 과일의 경우 레이블링 효율성과 정확도를 향상시킬 수 있는가?
• RQ2 반자동 및 자동 도구는 레이블링 정밀도를 유지하면서 수동 레이블링의 노력을 얼마나 줄일 수 있는가?
• RQ3 표준화된 확장된 COCO 형식은 기존 도구와의 호환성을 유지하면서도 농업 컴퓨터 시각의 고유한 요구사항을 충족시킬 수 있는가?
• RQ4 숙성 단계 및 식물 ID와 같은 메타데이터의 포함이 후속 모델 성능 향상과 재현 가능성에 어떤 영향을 미치는가?
• RQ5 픽셀 수준의 레이블링이 포함된 정제된 공개 데이터셋이 농업 컴퓨터 시각 분야의 벤치마킹과 진전에 어떤 영향을 미치는가?

주요 결과

• 기존 정점 클릭 기반 방법에 비해 자유형 다각형 툴은 자연스럽고 곡선을 띠는 객체에 대해 레이블링 효율을 크게 향상시켰으며, 이는 가장 자주 사용된 기법이었다.
• 데이터셋에는 총 10,000개의 토마토 인스턴스, 7,000개의 잎, 2,000개의 줄기, 2,000개의 병변 잎 레이블이 포함되어 있으며, 다양한 출처에서 수집된 총 21,000개의 레이블링 인스턴스를 포함한다.
• 확장된 COCO 형식에 'poco' 메타데이터 필드를 포함시켜 표준 COCO 도구와의 호환성을 해치지 않으면서도 풍부한 응용 중심 정보 저장이 가능해졌다.
• 30일 동안 토마토 식물의 성장 과정을 담은 시간 경과 이미지의 포함은 식물 발달 및 형질 추적 연구를 지원한다.
• 데이터셋은 PlantVillage, Google Images, 그리고 원본 온실 컬렉션의 이미지를 통합하여 다양성과 실제 세계 적용 가능성을 높였다.
• 공유된 결과와 버전 제어 기능을 갖춘 다중 사용자 레이블링 시스템은 협업적 정밀 조정을 통해 레이블링 일관성과 오류율 감소에 기여하였다.