[논문 리뷰] Robust Fruit Counting: Combining Deep Learning, Tracking, and Structure from Motion

Xu Liu, Steven W. Chen외 7명|arXiv (Cornell University)|2018. 04. 01.

Smart Agriculture and AI인용 수 12

한 줄 요약

이 논문은 깊이 학습 기반 세분화, 칼만 필터링을 적용한 KLT 트래커를 사용한 프레임 간 추적, 그리고 오차를 보정하고 정확도를 향상시키기 위해 구조에서 운동(SfM)을 통한 3차원 정위치를 조합한 새로운 과일 수세기 파이프라인을 제시한다. 이 방법은 가림과 조명 변화로 인한 과다 수세기 문제를 크게 줄이며, 오렌지 및 사과 데이터셋에서 각각 L1 오차 203과 평균 오차 3.3%를 기록하여 비구조적인 조건에서도 뛰어난 내구성을 확보한다.

ABSTRACT

We present a novel fruit counting pipeline that combines deep segmentation, frame to frame tracking, and 3D localization to accurately count visible fruits across a sequence of images. Our pipeline works on image streams from a monocular camera, both in natural light, as well as with controlled illumination at night. We first train a Fully Convolutional Network (FCN) and segment video frame images into fruit and non-fruit pixels. We then track fruits across frames using the Hungarian Algorithm where the objective cost is determined from a Kalman Filter corrected Kanade-Lucas-Tomasi (KLT) Tracker. In order to correct the estimated count from tracking process, we combine tracking results with a Structure from Motion (SfM) algorithm to calculate relative 3D locations and size estimates to reject outliers and double counted fruit tracks. We evaluate our algorithm by comparing with ground-truth human-annotated visual counts. Our results demonstrate that our pipeline is able to accurately and reliably count fruits across image sequences, and the correction step can significantly improve the counting accuracy and robustness. Although discussed in the context of fruit counting, our work can extend to detection, tracking, and counting of a variety of other stationary features of interest such as leaf-spots, wilt, and blossom.

연구 동기 및 목표

• 변동하는 조명, 가림, 깊이 변화가 있는 비구조적인 농장 환경에서 정확한 과일 수세기 문제를 해결하기 위해.
• 딥러닝과 3차원 재구성을 활용해 단일 이미지 과일 검출을 영상 시퀀스로 확장하는 내구성 있는 파이프라인을 개발하기 위해.
• 3차원 정위치와 크기 추정을 통해 추적 오류로 인한 과다 수세기 및 잘못된 양성 결과를 줄이기 위해.
• 자연광과 복잡한 수목 구조를 가진 실제 데이터셋을 대상으로 방법을 평가하기 위해.
• 단일 카메라 데이터만을 사용하여 자원이 제한된 농업 환경에 실용적으로 구현 가능하도록 하기 위해.

제안 방법

• 인간 레이블링 기반 참값을 사용해 각 이미지 프레임을 과일 및 비과일 픽셀로 분할하기 위해 완전 컨volution 네트워크(FCN)를 훈련한다.
• 칼만 필터로 보정된 KLT 트래커에서 유도된 목적 함수 비용을 기반으로 허그리안 알고리즘을 사용해 프레임 간 과일 추적을 수행한다.
• 검출된 과일 영역 근처의 SIFT 특징에 대해 구조에서 운동(SfM)을 적용하여 과일의 3차원 위치와 상대 크기를 추정한다.
• 3차원 정위치 및 크기 추정 결과를 활용해 이질적인 트랙을 거부하고 최종 수세기에서 이중으로 세진 과일을 보정한다.
• 보정 단계는 공간 일관성과 크기 분포를 활용해 추적 신뢰도를 향상시킨다.
• 파이프라인은 자연광 조명 하에서 높은 가림과 깊이 변화가 있는 오렌지 데이터셋과 제어된 야간 조명 하에서의 사과 데이터셋을 대상으로 평가된다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 세분화 모델이 복잡한 비구조적인 농장 환경에서 과일 검출 정확도를 향상시키는가?
• RQ2 칼만 필터링을 적용한 KLT 트래킹과 허그리안 할당을 조합한 추적-검출 방식이 영상 시퀀스 간 추적 오차를 얼마나 효과적으로 줄이는가?
• RQ3 SfM를 통한 3차원 정위치화가 가짜 양성 결과를 거부하고 이중 세기 트랙을 보정함으로써 과일 수세기 정확도를 얼마나 향상시키는가?
• RQ4 환경 조건의 변화, 예를 들어 자연광과 높은 가림 조건에서 보정 단계는 어떻게 성능을 발휘하는가?
• RQ5 이 파이프라인은 다양한 과일 종류에 일반화 가능하며, 단일 카메라 데이터만을 사용하는 자원이 제한된 농업 환경에 구현 가능한가?

주요 결과

• 높은 가림, 깊이 변화, 자연광 조건을 가진 오렌지 데이터셋에서 파이프라인이 L1 오차 203과 평균 오차 -0.2%를 기록했다.
• 사과 데이터셋에서는 보정 이전에 L1 오차 673과 평균 오차 8.5%를 기록했으나, 보정 후에는 각각 322와 3.3%로 감소했다.
• 사과 데이터셋에서 오차의 표준편차는 4.7%에서 4.1%로 감소하여 일관성 향상이 확인되었다.
• 환경 변화가 더 심한 오렌지 데이터셋에서는 보정 단계의 영향이 더 두드러져 비구조적 환경에서의 내구성을 입증했다.
• 3차원 정위치 및 크기 추정 단계는 이질적인 트랙을 거부하고 이중 세기 트랙을 보정함으로써 정확도를 크게 향상시켰다.
• 이 방법은 높은 가림과 자연광 조건(오렌지)에서도, 높은 색상 유사성과 제어된 조명 조건(사과)에서도 효과적이며, 광범위한 적용 가능성을 보였다.