[논문 리뷰] Facilitated machine learning for image-based fruit quality assessment

Manuel Knott, Fernando Pérez‐Cruz외 1명|arXiv (Cornell University)|2022. 07. 10.

Smart Agriculture and AI인용 수 6

한 줄 요약

이 논문은 사전 훈련된 비전 트랜스포머(ViTs), 특히 DINO ViT를 오프더쇼프트 특징 추출기로 사용하여 GPU가 필요 없는 간소화된 기계학습 접근법을 제안한다. 이는 이미지 기반 과일 품질 평가에 적용되며, 미세조정된 CNNs와 비교해 1% 이내의 경쟁력 있는 분류 정확도를 달성한다. 훈련 데이터의 약 1/3만으로도 가능해, 분산된 후수확 공급망에서의 저자원 구현을 가능하게 한다.

ABSTRACT

Image-based machine learning models can be used to make the sorting and grading of agricultural products more efficient. In many regions, implementing such systems can be difficult due to the lack of centralization and automation of postharvest supply chains. Stakeholders are often too small to specialize in machine learning, and large training data sets are unavailable. We propose a machine learning procedure for images based on pre-trained Vision Transformers. It is easier to implement than the current standard approach of training Convolutional Neural Networks (CNNs) as we do not (re-)train deep neural networks. We evaluate our approach based on two data sets for apple defect detection and banana ripeness estimation. Our model achieves a competitive classification accuracy equal to or less than one percent below the best-performing CNN. At the same time, it requires three times fewer training samples to achieve a 90% accuracy.

연구 동기 및 목표

• 제한된 데이터와 계산 능력이 있는 분산된 저자원 후수확 공급망에서 기계학습을 구현하는 데 도전한다.
• 초기 훈련 또는 미세조정을 통해 컨볼루션 신경망(CNNs)을 훈련하는 데 필요한 높은 데이터 및 하드웨어 요구 사항을 극복한다.
• 사전 훈련된 비전 트랜스포머가 재훈련 없이도 과일 품질 작업에 효과적인 즉시 사용 가능한 특징 추출기로 기능할 수 있음을 입증한다.
• 스마트폰 이미지를 사용해 AI 기반 품질 평가를 도입할 수 있는 소규모 이해관계자—예: 냉장 공급망 운영자 및 농민 협동조합—를 지원한다.
• 계산 요구량을 줄이고 农업 AI 응용 분야의 포용성을 높임으로써 그린 AI에 기여한다.

제안 방법

• 도메인 데이터에 대한 미세조정 없이, 자기지도 학습을 통해 사전 훈련된 비전 트랜스포머(DINO ViT-S/8 및 DINO ViT-B/8)를 고정된 특징 추출기로 활용한다.
• 비트 인코더의 최종 레이어에서 이미지 임베딩을 추출하고, 주성분 분석(PCA)을 사용해 차원을 감소시킨다.
• 분류 작업을 위해 PCA로 감소된 ViT 특징에 간단하고 경량의 분류기(SVM 또는 로지스틱 회귀 등)를 훈련시킨다.
• 두 가지 실제 데이터셋—사과 결함 탐지(CASC IFW) 및 바나나 숙성도 추정—에서 성능을 평가한다.
• 동일한 평가 프로토콜을 사용해, 동일한 데이터에 대해 미세조정된 최신 기술의 CNNs(ResNet50, VGG-11)와 결과를 비교한다.
• PCA를 사용해 특징 분포를 시각화하여 클래스 간 분리 가능성과 노이즈 및 배경 변동에 대한 강건성을 분석한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 비전 트랜스포머가 저데이터 환경에서 과일 품질 평가에 효과적인 0-미세조정 특징 추출기로 기능할 수 있는가?
• RQ2 작은 실생활 과일 이미지 데이터셋에서, 오프더쇼프트 ViT 특징의 분류 정확도가 미세조정된 CNNs와 비교해 어떻게 되는가?
• RQ3 ViT 기반 모델이 CNNs보다 훨씬 적은 훈련 샘플로도 높은 정확도를 달성할 수 있는 정도는 어느 정도인가?
• RQ4 실생활 농업 영상에서 노이즈, 조도 변화, 배경 혼잡함에 대해 ViT 임베딩은 얼마나 강건한가?
• RQ5 DINO로 학습된 ViT 특징의 잠재 공간은 CNN 특징보다 과일 품질 클래스의 선형 분리 가능성에서 더 우수한가?

주요 결과

• DINO ViT 기반 접근법은 사과 결함 탐지 및 바나나 숙성도 추정 데이터셋 양쪽에서 가장 높은 성능을 보인 미세조정된 CNNs와 1% 이내의 분류 정확도를 달성했다.
• ViT 기반 모델은 CNNs가 요구하는 훈련 샘플의 약 1/3만으로도 90%의 정확도를 달성했으며, 이는 뛰어난 데이터 효율성을 보여주었다.
• DINO ViT 임베딩의 PCA 시각화 결과, 건강한 사과와 손상된 사과 클래스 간에 명확한 분포 이동이 관찰되어 조도 및 배경 노이즈에 대한 강건성을 시사했다.
• DINO ViT 특징의 첫 번째 주성분은 ResNet50나 VGG-11의 특징보다 더 강한 클래스 분리 능력을 보였으며, 임베딩 공간에서 관련 시각적 특징이 더 잘 선형화되었음을 시사했다.
• 이 방법은 GPU 없이도 표준 CPU에서 고성능 과일 품질 평가를 가능하게 하여, 소규모 운영자들이 접근할 수 있는 장벽을 크게 낮췄다.
• 결과는 DINO ViT 임베딩이 매우 표현력이 뛰어나고, 하이브리드 모델링 파이프라인에서 표준형 데이터(예: 센서 또는 공급망 메타데이터)와의 통합에 적합하다는 것을 시사한다.