[논문 리뷰] Apple Defect Detection Using Deep Learning Based Object Detection For Better Post Harvest Handling

Paolo Valdez|arXiv (Cornell University)|2020. 05. 12.

Smart Agriculture and AI인용 수 16

한 줄 요약

이 논문은 수확 후 품질 관리를 향상시키기 위해 실시간 사과 결함 검출을 위한 YOLOv3 기반 딥러닝 모델을 제안한다. 452장의 사과 이미지(건강한 226장, 결함이 있는 226장)로 구성된 자체 구축 데이터셋을 사용해 훈련한 결과, 모델은 mAP@0.3IOU 기준 74.7%를 기록했으며, 다중 척도 특징 추출과 잔차 블록 덕분에 결함을 더 빠르고 정확하게 탐지함으로써 SSD를 능가했다. 이는 농가의 더 나은 분류를 가능하게 한다.

ABSTRACT

The inclusion of Computer Vision and Deep Learning technologies in Agriculture aims to increase the harvest quality, and productivity of farmers. During postharvest, the export market and quality evaluation are affected by assorting of fruits and vegetables. In particular, apples are susceptible to a wide range of defects that can occur during harvesting or/and during the post-harvesting period. This paper aims to help farmers with post-harvest handling by exploring if recent computer vision and deep learning methods such as the YOLOv3 (Redmon & Farhadi (2018)) can help in detecting healthy apples from apples with defects.

연구 동기 및 목표

• 수확 후 사과 분류에 소요되는 노동력과 일관성 부족 문제를 해결하기 위해 결함 탐지를 자동화하기 위해.
• 사과 결함에 대한 객체 검출 솔루션으로 YOLOv3의 성능을 평가하기 위해, 이미지 분류가 아닌 객체 검출 작업으로 간주하여.
• 정확하고 실시간으로 건강한 사과와 결함이 있는 사과를 탐지함으로써 생산성 향상과 수출 대비성을 높이기 위해.
• mAP 및 AP 지표를 사용하여 자체 구축한 사과 결함 데이터셋에서 YOLOv3와 SSD 기반 검출기 간의 성능을 비교하기 위해.

제안 방법

• COO-pretrained 체크포인트에서 전이 학습을 사용하여, 자체 구축한 452장의 사과 이미지(건강한 226장, 결함이 있는 226장) 데이터셋을 기반으로 YOLOv3 모델을 훈련시켰다.
• 미래 작업에서 이미지 간 번역 기법을 활용한 데이터 증강을 고려했지만, 본 연구에서는 적용하지 않았다.
• 추론 중에 겹치는 바운딩 박스 예측을 걸러내기 위해 비최대 억제(NMS)를 사용했다.
• 작은 결함을 탐지하기 위해 세 가지 다른 척도에서 특징 맵을 활용한 다중 척도 예측을 적용했다.
• 작은 병변과 같은 세부 사항 탐지 향상을 위해 스킵 연결을 갖춘 잔차 블록을 활용했다.
• IOU 임계값 기반 평가, 정밀도, 재현도, AP 및 mAP를 다중 IOU 임계값(0.3, 0.5, 0.7)에서 평가했다.

실험 결과

연구 질문

• RQ1 YOLOv3가 객체 검출 작업으로 적용되었을 때, SSD보다 사과 결함 탐지에서 뛰어난 성능을 보일 수 있는가?
• RQ2 YOLOv3의 다중 척도 아키텍처는 SSD 대비 작은 결함 탐지에 어떻게 기여하는가?
• RQ3 실제 수확 후 환경에서 잔차 블록이 미세한 사과 결함 탐지에 미치는 영향은 무엇인가?
• RQ4 IOU 임계값은 딥러닝 모델을 사용한 사과 결함 탐지에서 정밀도와 재현도에 어떤 영향을 미치는가?
• RQ5 COCO에서의 전이 학습은 소규모 도메인 특화 사과 결함 데이터셋에서 성능 향상에 얼마나 기여하는가?

주요 결과

• YOLOv3는 mAP@0.3IOU 기준 74.7%를 기록했으며, 이는 SSD 기반 모델의 69.97% mAP@0.3IOU를 크게 뛰어넘었다.
• 결함이 있는 사과 탐지에서 YOLOv3는 69.09% AP@0.3IOU를 기록했고, 이는 SSD의 59.51% AP@0.3IOU보다 뛰어난 결함 위치 정확도를 의미한다.
• YOLOv3는 다중 척도 특징 추출 덕분에 작은 병변을 더 잘 처리함으로써 결함이 있는 사과에 대해 더 높은 정밀도와 재현도를 보였다.
• 건강한 사과 탐지에서도 YOLOv3는 80.78% AP@0.3IOU를 기록했으며, 이는 SSD의 80.42% AP@0.3IOU보다 약간 우수한 성능을 보였다.
• SSD 기반 모델은 특히 작은 병변에 대해 더 많은 오분류(거짓 양성)를 발생시켜 전체 mAP가 낮아졌다.
• YOLOv3 아키텍처의 잔차 블록은 시각적 결과(그림 3)를 통해 미세한 결함 탐지 향상에 기여한 것으로 확인되었다.