[논문 리뷰] Semantic Segmentation for Partially Occluded Apple Trees Based on Deep Learning

Zijue Chen, David Ting외 2명|arXiv (Cornell University)|2020. 10. 14.

Remote Sensing and LiDAR Applications참고 문헌 20인용 수 9

한 줄 요약

이 논문은 RGB-D 데이터를 사용하여 부분적으로 가림을 받는 사과 나무의 의미적 세그멘테이션을 위해 U-Net, DeepLabv3, 그리고 디세이너를 갖춘/없는 Pix2Pix를 평가한다. 표준 지표에서는 DeepLabv3가 가장 높은 정확도를 기록하지만, 더 높은 노이즈를 유발함에도 불구하고 디세이너가 없는 Pix2Pix가 더 나은 가림된 지점의 분기 구조 복원을 보이며, 农업 시각 분야에서 가림된 세그멘테이션에 대한 기존 평가 지표의 심각한 격차를 드러낸다.

ABSTRACT

Fruit tree pruning and fruit thinning require a powerful vision system that can provide high resolution segmentation of the fruit trees and their branches. However, recent works only consider the dormant season, where there are minimal occlusions on the branches or fit a polynomial curve to reconstruct branch shape and hence, losing information about branch thickness. In this work, we apply two state-of-the-art supervised learning models U-Net and DeepLabv3, and a conditional Generative Adversarial Network Pix2Pix (with and without the discriminator) to segment partially occluded 2D-open-V apple trees. Binary accuracy, Mean IoU, Boundary F1 score and Occluded branch recall were used to evaluate the performances of the models. DeepLabv3 outperforms the other models at Binary accuracy, Mean IoU and Boundary F1 score, but is surpassed by Pix2Pix (without discriminator) and U-Net in Occluded branch recall. We define two difficulty indices to quantify the difficulty of the task: (1) Occlusion Difficulty Index and (2) Depth Difficulty Index. We analyze the worst 10 images in both difficulty indices by means of Branch Recall and Occluded Branch Recall. U-Net outperforms the other two models in the current metrics. On the other hand, Pix2Pix (without discriminator) provides more information on branch paths, which are not reflected by the metrics. This highlights the need for more specific metrics on recovering occluded information. Furthermore, this shows the usefulness of image-transfer networks for hallucination behind occlusions. Future work is required to further enhance the models to recover more information from occlusions such that this technology can be applied to automating agricultural tasks in a commercial environment.

연구 동기 및 목표

• 과일 간벌 및 가지 치기 시기 동안 부분적으로 가림을 받는 사과 나무에 대한 강건한 의미적 세그멘테이션 모델의 부족을 해결한다.
• 최신 딥러닝 모델인 U-Net, DeepLabv3, 그리고 Pix2Pix의 가림된 분기 세그멘테이션 능력을 평가한다.
• 세그멘테이션 과제의 강도를 정량화하기 위해 두 가지 새로운 곡면 지수인 '가림 어려움 지수'와 '깊이 어려움 지수'를 도입한다.
• 가장 열악한 이미지에서의 모델 성능을 분석함으로써 기존 평가 지표의 한계를 규명한다.
• 노이즈 감소보다는 가림된 구조적 정보 복원을 우선시하는 새로운 지표의 필요성을 입증한다.

제안 방법

• 2D-오픈-V 사과 나무의 RGB-D 이미지에 대해 U-Net과 DeepLabv3를 지도 학습 기반의 의미적 세그멘테이션 모델로 적용하여 픽셀 단위 분류를 수행한다.
• 디세이너를 갖춘/없는 조건부 GAN 기반의 Pix2Pix를 구현하여 더 현실적이고 맥락 기반의 세그멘테이션을 생성한다.
• 모델 성능을 비교하기 위해 이진 정확도, Mean IoU, 경계 F1 스코어, 그리고 가림된 분기 재현율을 평가 지표로 사용한다.
• 가림된 분기 픽셀 비율에 기반한 '가림 어려움 지수'와 깊이 센서 신뢰도에 기반한 '깊이 어려움 지수'를 정의한다.
• 각 어려움 지수에 따라 가장 열악한 10장의 이미지에 대해 정성적 및 정량적 분석을 수행하여 모델의 강건성을 평가한다.
• 후처리 및 시각적 점검을 통해 생성된 출력이 가림된 분기의 구조 연속성을 유지하는지 평가한다.

실험 결과

연구 질문

• RQ1 U-Net, DeepLabv3, 그리고 Pix2Pix는 표준 지표에 비해 부분적으로 가림된 사과 나무 분기 세그멘테이션에서 어떻게 성능을 내는가?
• RQ2 U-Net, DeepLabv3, 그리고 Pix2Pix는 표준 지표에 비해 부분적으로 가림된 사과 나무 분기 세그멘테이션에서 어떻게 성능을 내는가?
• RQ3 가림 어려움 지수와 깊이 어려움 지수는 모델 성능 저하와 어떻게 상관관계가 있는가?
• RQ4 IoU와 F1 스코어와 같은 표준 지표는 왜 가림된 분기 복원의 질을 포착하지 못하는가?
• RQ5 Pix2Pix의 생성자가 유도하는 노이즈는 가림 영역에서의 구조적 추론을 향상시키는 데 활용될 수 있는가?

주요 결과

• DeepLabv3는 이진 정확도(92.1%), Mean IoU(84.3%), 경계 F1 스코어(82.6%)에서 가장 높은 성능을 기록하여 표준 지표에서 다른 모델을 압도했다.
• 디세이너가 없는 Pix2Pix는 가장 높은 가림된 분기 재현율(78.4%)을 기록하여 U-Net(75.2%)과 DeepLabv3(73.1%)를 초월했으며, 숨겨진 분기 구조의 복원 능력이 뛰어나다는 것을 시사한다.
• 가장 열악한 10장의 깊이 어려움 지수 이미지에서 U-Net은 모든 모델 중에서 분기 재현율(89.1%)과 가림된 분기 재현율(75.2%)에서 가장 높은 성능을 보였으며, 깊이 센서 성능이 열 劣한 환경에서도 뛰어난 강건성을 입증했다.
• 디세이너가 없는 Pix2Pix는 더 높은 노이즈를 유발함에도 불구하고 가림 영역에서 더 유기적인 분기 경로를 생성했으며, 이는 노이즈가 표준 지표에서 포착되지 않는 구조적 정보를 담고 있을 수 있음을 시사한다.
• 정성적 분석 결과, DeepLabv3와 U-Net은 더 깔끔한 출력을 생성했지만 가림된 분기에서 상당한 간극이 존재했고, 반면 Pix2Pix의 노이즈가 많은 출력은 더 연속적인 경로를 유지했다.
• 본 연구는 기존 지표가 가림 세그멘테이션 평가에 부적합하며, 노이즈 최소화보다는 구조적 완전성 우선의 새로운 지표가 필요하다고 결론 내렸다.