[논문 리뷰] Deep Learning for Automatic Quality Grading of Mangoes: Methods and Insights

Shih-Lun Wu, Hsiao-Yen Tung외 1명|arXiv (Cornell University)|2020. 11. 23.

Smart Agriculture and AI참고 문헌 35인용 수 4

한 줄 요약

이 논문은 전이 학습과 Mask R-CNN를 통한 배경 제거를 활용한 컨볼루션 신경망(CNN)을 사용하여 자동 망고 품질 등급 분류를 위한 딥러닝 접근법을 제안한다. VGG16, ResNet, 및 커스텀 컨볼루션 오토에인코드러-분류기 모델이 포함되어 있으며, 최고의 성능을 보인 VGG16는 전처리된 이미지에서 높은 정확도를 달성하였다. 시각화 기법인 샐런시 맵과 주성분 분석(PCA)을 통해 모델이 눈에 띄는 결함, 예를 들어 검은 반점과 같은 요소에 집중하고 있음을 확인하였으며, 이는 결정 과정에 대한 설명 가능한 통찰을 제공한다.

ABSTRACT

The quality grading of mangoes is a crucial task for mango growers as it vastly affects their profit. However, until today, this process still relies on laborious efforts of humans, who are prone to fatigue and errors. To remedy this, the paper approaches the grading task with various convolutional neural networks (CNN), a tried-and-tested deep learning technology in computer vision. The models involved include Mask R-CNN (for background removal), the numerous past winners of the ImageNet challenge, namely AlexNet, VGGs, and ResNets; and, a family of self-defined convolutional autoencoder-classifiers (ConvAE-Clfs) inspired by the claimed benefit of multi-task learning in classification tasks. Transfer learning is also adopted in this work via utilizing the ImageNet pretrained weights. Besides elaborating on the preprocessing techniques, training details, and the resulting performance, we go one step further to provide explainable insights into the model's working with the help of saliency maps and principal component analysis (PCA). These insights provide a succinct, meaningful glimpse into the intricate deep learning black box, fostering trust, and can also be presented to humans in real-world use cases for reviewing the grading results.

연구 동기 및 목표

• 망고의 수작업 등급 분류가 인력 소모가 크고 오류가 많아 농가의 수익성에 심각한 영향을 미치는 문제를 해결한다.
• 딥러닝을 활용한 자동화된 정확하고 설명 가능한 시스템을 개발하여 망고를 품질 등급 A, B, C로 분류한다.
• 이미지넷 사전 훈련된 가중치를 활용한 데이터 전처리 및 전이 학습을 통해 제한된 데이터에서의 모델 성능을 향상시킨다.
• 샐런시 맵과 주성분 분석(PCA)을 활용해 모델의 결정 과정에 대한 해석 가능성을 제공한다.

제안 방법

• 6,400장의 망고 이미지에서 잡음이 많은 배경을 제거하기 위해 수동으로 레이블링된 망고 경계선을 기반으로 미세조정된 Mask R-CNN을 활용하였다.
• 제한된 데이터에서 성능을 향상시키기 위해 이미지넷 사전 훈련된 가중치로 초기화된 모델들(AlexNet, VGGs, ResNets)을 사용하여 전이 학습을 구현하였다.
• 다중 작업 학습을 통해 특징 정규화 및 전이 가능성을 향상시키기 위해 컨볼루션 오토에인코드러-분류기(ConvAE-Clfs)의 가족을 설계하였다.
• 모델 예측 시 어떤 이미지 영역에 집중하는지 시각화하기 위해 샐런시 맵을 적용하여 모델의 설명 가능성을 향상시켰다.
• 잠재적 특징 표현에 대해 주성분 분석(PCA)을 수행하여 모델 내부 표현에 품질 등급이 어떻게 인코딩되어 있는지 밝혀내었다.
• AICUP2020 Irwin 망고 데이터셋을 기반으로 다양한 CNN 아키텍처를 훈련 및 평가하여, 다양한 모델 간의 성능 및 설명 가능성의 차이를 비교하였다.

Figure 1: Some sample images from AICUP2020, the dataset used in our work. Please note that the images possess high variance in background, lighting conditions, and the distance of target mangoes.

실험 결과

연구 질문

• RQ1 제한된 실세계 데이터셋에 대해 미세조정된 사전 훈련된 CNN 모델들인 VGG16과 ResNet이 망고 품질 등급 분류에 얼마나 효과적인가?
• RQ2 Mask R-CNN를 활용한 배경 제거가 망고 분류에 사용되는 딥러닝 모델의 성능에 어느 정도 향상 효과를 미치는가?
• RQ3 컨볼루션 오토에인코드러를 분류기와 통합함으로써 저데이터 환경에서의 모델 일반화 및 특징 학습 능력이 향상되는가?
• RQ4 딥러닝 모델들이 망고 품질 등급 A, B, C를 구분하기 위해 학습하는 시각적 및 특징 수준의 패턴은 무엇인가?
• RQ5 샐런시 맵과 PCA는 실세계 적용을 위한 모델의 결정 과정에 대해 의미 있는 설명 가능한 통찰을 제공할 수 있는가?

주요 결과

• 모든 테스트된 모델 중 VGG16가 가장 높은 분류 정확도를 기록하였으며, AlexNet, ResNets, 커스텀 ConvAE-Clfs를 모두 초월하였다.
• Mask R-CNN를 활용한 배경 제거가 잡음 감소 및 망고와 그 결함에 집중할 수 있도록 함으로써 모델 성능을 크게 향상시켰다.
• 샐런시 맵 분석을 통해 모델이 눈에 띄는 결함, 특히 검은 반점에 집중하고 있음을 확인하였으며, 이는 품질 평가에 관련된 시각적 단서를 올바르게 학습하고 있음을 검증한다.
• PCA 분석 결과, 첫 번째 주성분이 결함 심각도와 강하게 상관관계를 보였으며, 이는 등급 C에서 가장 높고, 이어서 B, A의 순서로 나타났다. 이는 모델 예측의 주요 결정 요인이 결함의 양임을 시사한다.
• 잠재적 특징 공간에서 등급 A 망고는 조밀하게 군집되어 있었고, 등급 C 샘플은 산만하게 흩어져 있었으며, 이는 고급 망고는 외관적으로 일관성이 있으며, 저급 망고는 다양한 결함 패턴을 보임을 의미한다.
• 데이터셋에서 레이블 불일치 현상이 관찰되었으며, 일부 망고는 피부 색상이 고르지 않거나 경미한 결함이 등급 간으로 일관되지 않게 레이블링되어 있어 일부 샘플의 오분류 원인이 될 수 있다.

Figure 2: Background removal process. Image (a) shows how we annotate our dataset; the boundary of the mango fruit is marked with a blue polygon. As for segmentation results, Image (b) uses splash method, with which a rugged boundary of the mango is obtained. Image (c) uses the bounding box method,