[논문 리뷰] Fruit Quantity and Quality Estimation using a Robotic Vision System

Michael Halstead, Chris McCool외 3명|arXiv (Cornell University)|2018. 01. 17.

Smart Agriculture and AI참고 문헌 9인용 수 7

한 줄 요약

이 논문은 단일 뷰 전용 로봇 시스템을 제안하며, 병렬-RFCNN 아키텍처를 기반으로 한 Faster R-CNN을 활용해 페퍼민트의 수량과 품질을 동시에 추정한다. 이는 동시에 검출 및 품질 분류를 수행하며, 현장 테스트 2일 동안 F1 스코어 77.3%를 기록했고, 지상 진실값 대비 추적 정확도가 4.1% 이내로 유지를 하였다. 다양한 조명 조건과 잎의 간섭 상황에서도 뛰어난 성능을 보였다.

ABSTRACT

Accurate localisation of crop remains highly challenging in unstructured environments such as farms. Many of the developed systems still rely on the use of hand selected features for crop identification and often neglect the estimation of crop quantity and quality, which is key to assigning labor during farming processes. To alleviate these limitations we present a robotic vision system that can accurately estimate the quantity and quality of sweet pepper (Capsicum annuum L), a key horticultural crop. This system consists of three parts: detection, quality estimation, and tracking. Efficient detection is achieved using the FasterRCNN framework. Quality is then estimated in the same framework by learning a parallel layer which we show experimentally results in superior performance than treating quality as extra classes in the traditional Faster-RCNN framework. Evaluation of these two techniques outlines the improved performance of the parallel layer, where we achieve an F1 score of 77.3 for the parallel technique yet only 72.5 for the best scoring (red) of the multi-class implementation. To track the crop we present a tracking via detection approach, which uses the FasterRCNN with parallel layers, that is also a vision-only solution. This approach is cheap to implement as it only requires a camera and in experiments across 2 days we show that our proposed system can accurately estimate the number of sweet pepper present, within 4.1% of the ground truth.

연구 동기 및 목표

• 농업용 기존 로봇 시각 시스템에서 과일 수량과 품질 추정의 통합 부족을 해결한다.
• 불규칙한 농장 환경에서의 과제, 즉 가림, 다양한 조명 조건, 잎의 간섭을 극복한다.
• 외부 센서나 복잡한 하드웨어에 의존하지 않는 저비용의 뷰 전용 솔루션을 개발한다.
• 기존의 다중 클래스 Faster R-CNN 접근 방식을 초월하여 검출 및 품질 추정 정확도를 향상시킨다.
• 동영상 시퀀스에서 중복 계산을 방지하기 위해 추적-통한 탐지 시스템을 통해 신뢰할 수 있는 과일 수량 측정을 가능하게 한다.

제안 방법

• 객체 검출과 과일 품질 추정을 병렬 작업으로 간주하는 Parallel-RFCNN 아키텍처를 사용하며, 다중 클래스 분류가 아닌 병렬 처리 방식을 적용한다.
• 지역 제안 네트워크(RPN) 및 검출 헤드 손실을 결합한 커스터마이즈된 손실 함수를 사용하여 학습하며, 가중치 하이퍼파라미터 γdt=0.3, γmerge=0.4, γboundary=0.5를 적용한다.
• 공간적 및 외관 특징을 기반으로 프레임 간 탐지 결과를 연결하는 추적-통한 탐지 프레임워크를 사용하여, 각 과일이 한 번만 세어지도록 보장한다.
• LiDAR나 GPS 의존 없이 오직 RGB 카메라 입력에 의존하는 뷰 전용 파이프라인을 구현한다.
• 비최대 억제(NMS) 및 IoU 임계값(이격도=0.4)을 적용하여 경계 상자 예측을 정밀하게 조정하고, 잡음 신호를 감소시킨다.
• 데이터 증강 및 전이 학습을 통해 일반화 능력을 향상시키며, 특히 성숙한 페퍼민트와 상당히 다를 수 있는 청소년기 과일 단계에 대해 유의미한 개선을 이룬다.

실험 결과

연구 질문

• RQ1 품질을 이산 클래스로 간주하지 않고도 단일 딥 러닝 모델이 페퍼민트의 동시 검출 및 품질 추정을 효과적으로 수행할 수 있는가?
• RQ2 병렬 검출-품질 추정 아키텍처의 성능이 F1 스코어 및 내성 면에서 다중 클래스 검출 접근 방식과 비교해 어떻게 다른가?
• RQ3 실제 현장 조건에서 가림과 동적 조명 조건이 존재하는 상황에서 뷰 전용 추적-통한 탐지 시스템이 과일 수량 측정 정확도를 얼마나 유지할 수 있는가?
• RQ4 크기와 색상이 성숙한 페퍼민트와 상당히 다를 수 있는 미성숙 과일(청소년기 과일)에 대해 시스템은 어떻게 성능을 내는가?
• RQ5 다양한 일수에 걸쳐 현장에 배치된 시스템이 총 과일 수량과 품질 분포 추정의 총합 정확도는 어느 정도인가?

주요 결과

• 병렬-RFCNN 접근 방식은 과일 검출에 대해 F1 스코어 77.3%를 기록하였으며, 다중 클래스 Faster R-CNN 접근 방식의 최대 72.5% (빨간 과일 클래스 기준)를 크게 초월하였다.
• 현장 테스트 2일 동안 총 과일 수량을 지상 진실값 대비 4.1% 이내로 추정하였으며, 수요일에는 11.8% 오차, 목요일에는 4.9% 오차를 기록하였다.
• 모든 과일 클래스에서 품질 추정 정확도 평균은 82.1%였으며, 빨간 과일의 경우 오차가 가장 낮아 0.9%였고, 조밀한 잎의 간섭으로 인해 수요일에 초록 과일의 오차가 11.8%로 높았다.
• 청소년기 과일에 대해서는 어려움을 겪었으며, 전용 테스트 구역에서 87개 중 51개만 검출하여 초기 단계의 페퍼민트에 대한 모델 재학습이 필요함을 시사하였다.
• 청소년 전용 영역에서 혼합 및 빨간 과일이 존재하지 않음을 정확히 식별하여, 클래스 부재 상황에서도 뛰어난 내성성을 입증하였다.
• 뷰 전용 추적 시스템은 효과적이며 저비용이었으며, 추가 센서나 校정이 필요 없이 오직 카메라 입력에 의존하였다.