[논문 리뷰] Banana Sub-Family Classification and Quality Prediction using Computer Vision

Narayana Darapaneni, Arjun Tanndalam외 6명|arXiv (Cornell University)|2022. 04. 06.

Smart Agriculture and AI인용 수 8

한 줄 요약

이 논문은 이동식 네트워크(MobileNet)를 사용한 전이 학습과 데이터 증강을 활용하여 바나나 하위 종류를 분류하고 품질을 예측하는 컴퓨터 비전 파이프라인을 제안한다. 3,064장의 이미지로 구성된 통합 데이터셋에서 훈련된 모델은 하위 종류 분류에 대해 93.4%의 정확도와 품질 예측에 대해 100%의 정확도를 기록하여 바나나 공급망 및 소매 운영의 자동화를 가능하게 한다.

ABSTRACT

India is the second largest producer of fruits and vegetables in the world, and one of the largest consumers of fruits like Banana, Papaya and Mangoes through retail and ecommerce giants like BigBasket, Grofers and Amazon Fresh. However, adoption of technology in supply chain and retail stores is still low and there is a great potential to adopt computer-vision based technology for identification and classification of fruits. We have chosen banana fruit to build a computer vision based model to carry out the following three use-cases (a) Identify Banana from a given image (b) Determine sub-family or variety of Banana (c) Determine the quality of Banana. Successful execution of these use-cases using computer-vision model would greatly help with overall inventory management automation, quality control, quick and efficient weighing and billing which all are manual labor intensive currently. In this work, we suggest a machine learning pipeline that combines the ideas of CNNs, transfer learning, and data augmentation towards improving Banana fruit sub family and quality image classification. We have built a basic CNN and then went on to tune a MobileNet Banana classification model using a combination of self-curated and publicly-available dataset of 3064 images. The results show an overall 93.4% and 100% accuracy for sub-family/variety and for quality test classifications respectively.

연구 동기 및 목표

• 공급망 및 소매 환경에서 바나나 하위 종류와 품질 분류를 자동화하기 위해.
• 컴퓨터 비전을 통해 재고 관리, 체중 측정 및 청구 작업의 수동 노동을 줄이기 위해.
• 제한된 양이지만 다양한 바나나 이미지 데이터를 활용해 강력하고 정확한 분류 시스템을 개발하기 위해.
• 저자원 과일 분류 작업에서 전이 학습과 데이터 증강의 효과를 평가하기 위해.

제안 방법

• 기본 모델로 사용하기 위해 자체 개발한 컨볼루션 신경망(CNN)을 먼저 구축하였다.
• ImageNet에서 사전 훈련된 MobileNet 아키텍처를 사용하여 전이 학습을 적용하였다.
• 자체 수집 및 공개된 자료에서 유래한 총 3,064장의 이미지로 하이브리드 데이터셋을 구성하였다.
• 모델의 일반화 능력 향상과 과적합 방지를 위해 데이터 증강 기법을 적용하였다.
• 하위 종류/품종 및 과일 품질의 두 가지 별도의 분류 작업을 위해 모델를 최적화하였다.
• 보류된 테스트 세트에서 표준 정확도 지표를 사용하여 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 제한된 이미지 데이터로 컴퓨터 비전 모델이 바나나 하위 종류를 정확하게 분류할 수 있는가?
• RQ2 전이 학습이 바나나 과일 이미지 분류 성능에 얼마나 기여하는가?
• RQ3 데이터 증강이 저자원 환경에서 모델의 강건성과 일반화 능력을 향상시키는 데 얼마나 기여하는가?
• RQ4 제안된 파이프라인이 소매 및 공급망 응용 분야에서 바나나 품질 예측에 얼마나 효과적인가?

주요 결과

• 모델은 테스트 이미지에서 바나나 하위 종류 또는 품종 분류에 대해 93.4%의 정확도를 달성하였다.
• 품질 예측 작업은 100%의 정확도를 기록하여 이 분류 작업에서 뛰어난 성능을 보였다.
• MobileNet을 사용한 전이 학습은 자체 개발한 CNN 기반 모델 대비 모델 수렴 속도와 정확도를 크게 향상시켰다.
• 데이터 증강은 중간 크기의 데이터셋을 고려할 때 모델의 일반화 능력 향상에 기여하였다.
• 통합 파이프라인은 자동 바나나 분류 및 재고 관리 시스템의 실세계 적용 가능성이 높다는 것을 보여주었다.