[논문 리뷰] Kiwifruit detection in challenging conditions

Mahla Nejati, Nicky Penhall외 5명|arXiv (Cornell University)|2020. 06. 21.

Smart Agriculture and AI참고 문헌 25인용 수 6

한 줄 요약

이 논문은 과수원의 도전적인 조명 조건—반사광과 과도한 조명에 의한 과포화—에서 키토니아 열매 탐지 성능을 햖थन 데코딩 기법을 도입한 완전 컨volution 신경망(FCN-8s)을 사용하는 의미적 세그멘테이션 접근법을 제안한다. 이 방법은 극한 조명 조건에서 F1 스코어를 0.13에서 0.42로 향상시키며, 모든 조건에서 비가림 열매의 87.0%와 가림 열매의 30.0%를 탐지하는 데 성공한다.

ABSTRACT

Accurate and reliable kiwifruit detection is one of the biggest challenges in developing a selective fruit harvesting robot. The vision system of an orchard robot faces difficulties such as dynamic lighting conditions and fruit occlusions. This paper presents a semantic segmentation approach with two novel image prepossessing techniques designed to detect kiwifruit under the harsh lighting conditions found in the canopy. The performance of the presented system is evaluated on a 3D real-world image set of kiwifruit under different lighting conditions (typical, glare, and overexposed). Alone the semantic segmentation approach achieves an F1_score of 0.82 on the typical lighting image set, but struggles with harsh lighting with an F1_score of 0.13. Utilising the prepossessing techniques the vision system under harsh lighting improves to an F1_score 0.42. To address the fruit occlusion challenge, the overall approach was found to be capable of detecting 87.0% of non-occluded and 30.0% of occluded kiwifruit across all lighting conditions.

연구 동기 및 목표

• 과수원 환경에서 흔히 발생하는 동적인 극한 조명 조건에서 정확한 키토니아 열매 탐지 문제를 해결한다.
• 변동하는 조명과 가림 상태에서 실패하는 전통적인 수작업 특징 추출 기법의 한계를 극복한다.
• 조명 아티팩트에 맞는 전처리 기법을 통합하여 선택적 수확 로봇의 탐지 내성 향상.
• 일반, 반사광, 과포화 조명 조건에서 실제 3D 이미지 데이터를 기반으로 성능 평가.
• 추가 전처리를 고려하더라도 약 1.5초의 처리 시간을 유지하여 로봇 플랫폼에 실시간 구현 가능하게 한다.

제안 방법

• 픽셀 수준에서 키토니아 열매를 탐지하기 위해 의미적 세그멘테이션을 위한 완전 컨volution 신경망(FCN-8s)을 사용한다.
• 반사광 이미지에서 파란 채널을 초록색으로 대체하는 전처리 파이프라인을 도입하여 과포화 영향을 줄인다.
• 동적 범위를 줄이기 위해 히스토그램 평준화(HE)를 적용: 과포화 이미지에는 전역적으로, 반사광 이미지의 부분 영역에는 국소적으로 적용.
• 데이터 의존도를 줄이기 위해 48장의 이미지(200×200 픽셀, 총 113개의 키토니아 열매)로 구성된 소규모 학습 데이터셋을 사용해 FCN-8s 모델을 훈련.
• 평가를 위해 세 가지 이미지 유형을 정의하고 레이블링: 일반 조명, 반사광, 과포화 조명.
• 의미적 세그멘테이션과 후처리를 조합하여 개별 열매를 식별하며, 잎, 와이어, 겹쳐진 꽃받침 등으로 인한 가림 상태도 처리.

실험 결과

연구 질문

• RQ1 실제 과수원 환경에서 변동적이고 극한의 조명 조건에서 의미적 세그멘테이션 모델이 신뢰할 수 있는 키토니아 열매 탐지 성능을 달성할 수 있는가?
• RQ2 제안된 전처리 기법(파란 채널 대체 및 히스토그램 평준화)이 반사광과 과포화 조건에서 탐지 성능 향상에 얼마나 효과적인가?
• RQ3 잎, 가지, 겹쳐진 꽃받침 등으로 인한 열매의 가림 정도가 탐지 정확도에 미치는 영향은 얼마나 되며, 모델이 여전히 가림된 열매를 식별할 수 있는가?
• RQ4 실시간 로봇 구현 환경에서 탐지 정확도(F1 스코어)와 처리 시간 간의 상충 관계는 어떠한가?
• RQ5 기존 연구 대비 제안된 방법의 성능은 거짓 경고 수, 학습 데이터 크기, 개별 열매 탐지 능력 측면에서 어떻게 비교되는가?

주요 결과

• 일반 조명 조건에서 의미적 세그멘테이션 모델은 F1 스코어 0.82를 기록하며 강력한 기초 성능을 입증한다.
• 극한 조명 조건(반사광 및 과포화)에서는 F1 스코어가 0.13으로 크게 하락하여 동적인 조명 조건의 도전성 확인.
• 제안된 전처리 기법으로 극한 조명 조건에서 F1 스코어가 0.42로 향상되어 강건성 향상显著.
• 모든 조명 조건에서 비가림 열매의 87.0%와 가림 열매의 30.0%를 탐지하여 가림 상태에 대한 부분적인 내성 확보.
• 처리 시간 평균은 1.5초 per 이미지로, 실시간 로봇 구현에 적합.
• 48장의 훈련 이미지에 총 113개의 레이블링된 키토니아 열매만을 사용함에도 불구하고, 이전의 Faster R-CNN 모델(11,760개의 레이블링된 열매로 훈련)보다 높은 정밀도(0.92)를 달성하여 뛰어난 데이터 효율성과 신뢰성 확보.