[논문 리뷰] Deep Neural Network Based Real-time Kiwi Fruit Flower Detection in an Orchard Environment

JongYoon Lim, Ho Seok Ahn외 4명|arXiv (Cornell University)|2020. 06. 07.

Smart Agriculture and AI인용 수 12

한 줄 요약

이 논문은 Faster R-CNN과 SSD를 사용하여 올리브나무 정원에서 키위 과일 꽃을 실시간으로 감지하는 딥러닝 시스템을 제안한다. InceptionNet V2와 NASNet 특징 추출기를 활용한다. 다양한 계절과 위치에서 수집한 데이터셋을 기반으로 평가한 결과, 정밀도 0.919, 재현율 0.874, F1 점수 0.889를 기록하여 자율 수분 로봇에 적합한 강력한 성능을 입증한다.

ABSTRACT

In this paper, we present a novel approach to kiwi fruit flower detection using Deep Neural Networks (DNNs) to build an accurate, fast, and robust autonomous pollination robot system. Recent work in deep neural networks has shown outstanding performance on object detection tasks in many areas. Inspired this, we aim for exploiting DNNs for kiwi fruit flower detection and present intensive experiments and their analysis on two state-of-the-art object detectors; Faster R-CNN and Single Shot Detector (SSD) Net, and feature extractors; Inception Net V2 and NAS Net with real-world orchard datasets. We also compare those approaches to find an optimal model which is suitable for a real-time agricultural pollination robot system in terms of accuracy and processing speed. We perform experiments with dataset collected from different seasons and locations (spatio-temporal consistency) in order to demonstrate the performance of the generalized model. The proposed system demonstrates promising results of 0.919, 0.874, and 0.889 for precision, recall, and F1-score respectively on our real-world dataset, and the performance satisfies the requirement for deploying the system onto an autonomous pollination robotics system.

연구 동기 및 목표

• 실제 정원 환경에서 실시간으로 정확하고 견고한 키위 과일 꽃 감지 시스템을 개발한다.
• 다양한 계절과 위치에서 꽃의 외형이 변화하는 문제를 해결한다.
• 정확도와 추론 속도의 균형을 고려해 자율 수분 로봇에 배포 가능한 딥 뉴럴 네트워크 모델을 최적화한다.
• 실제 정원 데이터에서 최신 기술의 객체 검출기(Faster R-CNN, SSD)와 특징 추출기(InceptionNet V2, NASNet)의 성능을 평가한다.
• 다양한 환경적 조건과 생장 단계에서의 일반화 능력을 입증한다.

제안 방법

• 엔드 투 엔드 꽃 감지를 위한 최신 기술의 두 객체 검출 프레임워크인 Faster R-CNN과 단일 셰이프 검출기(SSD)를 활용한다.
• 작고 가려진, 다양한 형태의 키위 꽃을 위한 특징 표현을 향상시키기 위해 InceptionNet V2와 NASNet을 두 개의 딥 특징 추출기로 통합한다.
• 다양한 계절과 지리적 위치에서 수집한 실제 정원 데이터셋을 사용해 모델을 훈련하고 미세조정하여 시공간적 견고성을 확보한다.
• 처리 지연 시간과 정확도의 상충 관계를 평가하여 실시간으로 모바일 로봇 플랫폼에 배포 가능한 추론 속도를 최적화한다.
• 다양한 조명, 날씨 조건 및 식물 생장 단계에서의 일반화 능력을 향상시키기 위해 데이터 증강 및 도메인 적응 기법을 적용한다.
• 주요 평가 지표로 평균 정밀도(mAP)와 F1 점수를 사용하여 다양한 구성에서의 모델 성능을 평가하고 비교한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 복잡하고 변화가 많은 정원 환경에서 키위 과일 꽃 감지에 대해 높은 정확도와 실시간 추론 속도를 달성할 수 있는가?
• RQ2 실제 정원 데이터에서 다양한 객체 검출 아키텍처(Faster R-CNN 대비 SSD)와 특징 추출기(InceptionNet V2 대비 NASNet)의 정확도와 속도 측면에서의 성능 비교는 어떻게 되는가?
• RQ3 모델은 다양한 계절과 위치 간에서 얼마나 잘 일반화되는가? 즉, 감지 성능의 시공간 일관성이 확보되는가?
• RQ4 자율 수분 로봇에 배포하기 위해 높은 감지 정확도와 낮은 추론 지연 시간을 동시에 확보할 수 있는 최적의 모델 구성은 무엇인가?
• RQ5 제안된 시스템은 실제 농업 로봇 응용 분야에서 신뢰할 만한 운영을 위해 필요한 성능 지표를 달성할 수 있는가?

주요 결과

• 제안된 시스템은 실제 정원 데이터셋에서 정밀도 0.919, 재현율 0.874, F1 점수 0.889를 기록하여 강력한 감지 성능을 입증한다.
• 모델은 다양한 계절과 위치에서 견고한 성능을 보이며, 다양한 환경적 및 생장 조건에서의 일반화 능력을 확인한다.
• 평가된 모델들 중에서 NASNet 특징 추출기를 사용한 SSD가 속도와 정확도 사이의 최적의 트레이드오���을 제공하여 실시간 로봇 배포에 적합하다.
• 훈련 단계에서 다중 계절, 다중 위치 데이터를 활용함으로써 모델의 일반화 능력이 향상되고 특정 조건에 대한 과적합이 감소했다.
• 시스템의 성능 지표는 자율 수분 로봇에 통합하기 위한 요구 조건을 충족하여 실용적 타당성을 입증한다.
• 결과적으로 딥러닝 기반 객체 검출 기술이 키위 정원에서 표적 수분과 같은 실시간 현장 농업 응용 분야에 실현 가능하다는 점을 확인한다.