[논문 리뷰] DeepApple: Deep Learning-based Apple Detection using a Suppression Mask R-CNN

Pengyu Chu, Zhaojian Li외 3명|arXiv (Cornell University)|2020. 10. 19.

Smart Agriculture and AI참고 문헌 26인용 수 5

한 줄 요약

이 논문은 복잡한 농장 환경에서 견고한 사과 탐지에 적합한 억제 Mask R-CNN 프레임워크인 DeepApple을 제안한다. 기초 모델에서 사과가 아닌 특징을 걸러내기 위해 억제 브랜치를 통합함으로써, 표준 데스크톱에서 프레임당 0.25초의 탐지 시간과 함께 최신 기술 수준의 F1-스코어 0.905를 달성하였으며, 다양한 조명 조건과 가림 상황에서도 기존 모델보다 정확도가 크게 향상되었다.

ABSTRACT

Robotic apple harvesting has received much research attention in the past few years due to growing shortage and rising cost in labor. One key enabling technology towards automated harvesting is accurate and robust apple detection, which poses great challenges as a result of the complex orchard environment that involves varying lighting conditions and foliage/branch occlusions. This letter reports on the development of a novel deep learning-based apple detection framework named DeepApple. Specifically, we first collect a comprehensive apple orchard dataset for 'Gala' and 'Blondee' apples, using a color camera, under different lighting conditions (sunny vs. overcast and front lighting vs. back lighting). We then develop a novel suppression Mask R-CNN for apple detection, in which a suppression branch is added to the standard Mask R-CNN to suppress non-apple features generated by the original network. Comprehensive evaluations are performed, which show that the developed suppression Mask R-CNN network outperforms state-of-the-art models with a higher F1-score of 0.905 and a detection time of 0.25 second per frame on a standard desktop computer.

연구 동기 및 목표

• 변동하는 조명 조건과 가림 상황이 있는 실제 농장 환경에서 정확하고 견고한 사과 탐지 문제를 해결하기 위해.
• 잎과 가지로 인한 오진 탐지 수를 줄이기 위한 딥 러닝 기반 탐지 프레임워크를 개발하기 위해.
• 다양한 조명 조건과 환경 조건에서 'Gala'와 'Blondee' 사과의 포괄적인 데이터셋을 수집하고 처리하기 위해.
• 비사과 특징을 걸러내는 억제 브랜치를 도입하여 기존 Mask R-CNN 모델을 개선하기 위해.
• 로봇 수확 응용 분야에서 사과 탐지 성능을 최신 기술 수준으로 향상시키기 위해.

제안 방법

• 표준 Mask R-CNN에 억제 브랜치를 추가하여 비사과 특징을 특징 맵에서 걸러내는 새로운 억제 Mask R-CNN 아키텍처를 개발하였다.
• 억제 브랜치는 분류 브랜치의 $th_1$ 및 특징 억제 헤드의 $th_2$ 두 개의 신뢰도 임계값을 통해 작동하며, 오진 탐지 억제를 동적으로 제어할 수 있다.
• 13,905장의 이미지로 구성된 자체 제작 데이터셋을 사용하여 두 농장에서 수집한 'Gala'와 'Blondee' 사과를 대상으로 네트워크를 엔드 투 엔드로 훈련시켰다. 이는 햇빛, 흐린 날씨, 앞면 조명, 뒷면 조명 조건을 포함한다.
• 정밀도와 재현율의 균형을 맞추기 위해 파레토 최적화 분석을 통해 $th_1$와 $th_2$를 튜닝함으로써 성능을 최적화하였다.
• 기본 모델로 ResNet-50를 사용하였으며, 표준 평가 지표인 정밀도, 재현율, F1-스코어를 사용하여 모델을 평가하였다.
• 제거 분석을 통해 ResNet-50, ResNet-101, ResNet-152 백본을 사용한 표준 Mask R-CNN와의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 Mask R-CNN에 억제 브랜치를 도입함으로써, 농장 환경에서의 가림 및 비과일 구조로 인한 오진 탐지가 효과적으로 감소하는가?
• RQ2 실제 조명 조건과 가림 상황 하에서 최신 기술 수준의 모델과 비교해 볼 때, 제안된 억제 Mask R-CNN의 F1-스코어와 추론 속도는 어떻게 되는가?
• RQ3 억제 메커니즘의 통합이 다양한 사과 품종과 조명 조건에서 탐지의 견고성 향상에 기여하는가?
• RQ4 억제 임계값 $th_1$와 $th_2$를 튜닝할 때 정밀도와 재현율 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 더 깊은 백본 네트워크인 ResNet-152보다 더 적은 파라미터로도 억제 메커니즘이 우수한 성능을 낼 수 있는가?

주요 결과

• 억제 Mask R-CNN는 모든 기준 모델, 심지어 더 깊은 ResNet 백본을 사용한 모델들보다도 F1-스코어 0.905를 달성하여 최고의 성능을 보였다.
• 표준 데스크톱에서 프레임당 0.25초의 탐지 시간을 기록하여 실시간 적용 가능성도 입증하였다.
• 최적 설정 $C_1$을 사용할 경우, 기준 Mask R-CNN 대비 정밀도는 10% 향상되고 재현율은 0.4% 향상되었다.
• 설정 $C_2$는 재현율 0.939를 달성하여 오진 탐지 비율을 크게 감소시키면서도 높은 정밀도를 유지하였다.
• 모델은 'Gala' 사과보다 'Blondee' 사과에서 더 높은 성능을 보였으며, 이는 품종에 따라 감지 민감도의 차이가 있을 수 있음을 시사한다.
• 흐린 날씨 또는 직접 조명 조건에서는 뒷면 조명 조건보다 탐지 성능이 높았으며, 이는 인공 조명을 추가로 활용할 경우 성능 향상이 더 가능할 수 있음을 시사한다.