[논문 리뷰] Deep Mangoes: from fruit detection to cultivar identification in colour images of mango trees

Philippe Borianne, Frédéric Borne외 2명|arXiv (Cornell University)|2019. 09. 24.

Smart Agriculture and AI참고 문헌 35인용 수 15

한 줄 요약

이 논문은 고해상도 색상 이미지에서 망고 열매를 감지하고 품종(켄트, 키트, 부코디에칼)을 식별하기 위한 Faster R-CNN 기반 접근법을 제안한다. 500×500 픽셀 타일에서 과일 감지에 대해 F1 스코어 0.90을 달성했으며, 동시 감지 및 식별에 대해서는 0.56을 기록했고, 감지된 과일에 대한 품종 분류 정확도는 80%로 나타나, 성능 향상을 위해 Mask R-CNN과 이중 스트림 Faster R-CNN과의 통합 가능성을 시사한다.

ABSTRACT

This paper presents results on the detection and identification mango fruits from colour images of trees. We evaluate the behaviour and the performances of the Faster R-CNN network to determine whether it is robust enough to "detect and classify" fruits under particularly heterogeneous conditions in terms of plant cultivars, plantation scheme, and visual information acquisition contexts. The network is trained to distinguish the 'Kent', 'Keitt', and "Boucodiekhal" mango cultivars from 3,000 representative labelled fruit annotations. The validation set composed of about 7,000 annotations was then tested with a confidence threshold of 0.7 and a Non-Maximal-Suppression threshold of 0.25. With a F1-score of 0.90, the Faster R-CNN is well suitable to the simple fruit detection in tiles of 500x500 pixels. We then combine a multi-tiling approach with a Jaccard matrix to merge the different parts of objects detected several times, and thus report the detections made at the tile scale to the native 6,000x4,000 pixel size images. Nonetheless with a F1-score of 0.56, the cultivar identification Faster R-CNN network presents some limitations for simultaneously detecting the mango fruits and identifying their respective cultivars. Despite the proven errors in fruit detection, the cultivar identification rates of the detected mango fruits are in the order of 80%. The ideal solution could combine a Mask R-CNN for the image pre-segmentation of trees and a double-stream Faster R-CNN for detecting the mango fruits and identifying their respective cultivar to provide predictions more relevant to users' expectations.

연구 동기 및 목표

• 복잡하고 이질적인 农업 영상 조건에서 망고 과일을 감지하고 식별할 수 있는 강력한 딥 러닝 시스템을 개발하는 것.
• 다양한 조명 조건, 수목 구조, 영상 조건에서 세 가지 주요 망고 품종(켄트, 키트, 부코디에칼)을 감지하고 분류하는 Faster R-CNN의 성능을 평가하는 것.
• 스케일 변화와 객체 분할 문제를 해결하기 위해 다중 타일링 전략과 Jaccard 행렬 기반 공간 병합 기법을 조합하는 것.
• 고해상도 이미지(6,000×4,000 픽셀)에서 동시 과일 감지 및 품종 분류의 실현 가능성을 평가하는 것.
• 현재 감지 및 분류 성능의 한계를 규명하고 실세계 农업 응용에 더 효과적인 아키텍처를 제안하는 것.

제안 방법

• 켄트, 키트, 부코디에칼 품종의 세 품종에 대해 총 3,000개의 주석이 부여된 망고 과일 인스턴스를 기반으로 Faster R-CNN 모델을 훈련하는 것.
• 타일 기반 추론에서 검출 결과 후처리를 위해 신뢰도 임계값 0.7과 비최대 억제(Non-Maximal Suppression) 임계값 0.25를 사용하는 것.
• 6,000×4,000 픽셀 크기의 큰 이미지를 500×500 픽셀 타일로 나누어 처리하기 위해 다중 타일링 전략을 적용하는 것.
• 인접한 타일 간에 겹치는 검출 결과를 병합하고 전체 이미지의 객체 위치를 재구성하기 위해 Jaccard 행렬을 활용하는 것.
• 약 7,000개의 주석을 포함한 검증 세트에서 감지 및 분류 성능을 평가하는 것.
• 수목 이미지 분할을 위해 Mask R-CNN을 활용하고, 동시에 과일 감지 및 품종 분류를 수행하기 위한 이중 스트림 Faster R-CNN을 조합한 하이브리드 아키텍처를 제안하는 것.

실험 결과

연구 질문

• RQ1 Faster R-CNN은 다양한 품종 간의 색상과 구조적 조건이 극도로 다양할 경우에도 망고 과일을 신뢰성 있게 감지할 수 있는가?
• RQ2 실세계 영상 제약 조건 하에서 Faster R-CNN은 망고 과일 감지와 품종 식별을 동시에 수행하는 데 얼마나 효과적인가?
• RQ3 Jaccard 기반 병합을 통한 다중 타일링 전략이 대규모 이미지 전반에 걸친 감지 일관성에 얼마나 기여하는가?
• RQ4 동시 감지 및 분류 과정에서 발생하는 주요 실패 유형은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 동시 과일 감지 및 품종 식별을 위해 이중 스트림 Faster R-CNN 아키텍처가 단일 스트림 접근보다 더 효과적인가?

주요 결과

• 500×500 픽셀 타일에서의 과일 감지에 대해 Faster R-CNN은 F1 스코어 0.90을 기록하여 통제된 타일 조건 하에서 뛰어난 감지 성능을 입증했다.
• 동시 감지 및 품종 식별 작업의 F1 스코어는 0.56으로 나타나, 동시에 객체 감지와 세분화된 분류를 수행하는 데 상당한 과제가 있음을 시사한다.
• 감지 오류가 존재하더라도, 감지된 과일에 대한 품종 식별 정확도는 약 80%에 도달하여, 감지가 신뢰할 만할 경우 분류 성능이 뛰어나다는 것을 보여준다.
• 다중 타일링 전략과 Jaccard 행렬 병합 기법을 통해 타일 수준의 분할된 결과에서 전체 이미지 감지를 성공적으로 재구성했다.
• 본 연구는 현재 단일 스트림 Faster R-CNN이 동시 감지 및 분류에 한계를 보임을 규명하고, 이에 따라 이중 스트림 아키텍처의 필요성을 제기한다.
• 저자들은 수목 분할을 위해 Mask R-CNN을, 동시에 과일 감지 및 품종 분류를 수행하기 위해 이중 스트림 Faster R-CNN을 조합한 아키텍처가 실세계 농업 시각 작업에 더 효과적인 솔루션임을 결론 내린다.