[논문 리뷰] Estimates of maize plant density from UAV RGB images using Faster-RCNN detection model: impact of the spatial resolution

Kaaviya Velumani, Raúl López‐Lozano외 5명|arXiv (Cornell University)|2021. 05. 25.

Remote Sensing in Agriculture참고 문헌 74인용 수 72

한 줄 요약

이 연구는 다양한 지상 샘플링 거리(GSD)에서 드론(UAV) RGB 영상에서 옥수수 식물 밀도를 추정하기 위해 Faster-RCNN을 평가한다. 고해상도(GSD ≈ 0.3 cm) 영상에서 훈련한 모델이 저해상도(GSD ≈ 0.6 cm) 데이터에 적용될 경우 성능이 크게 떨어지는 것으로 나타났다. 주요 기여는 혼합 해상도 데이터로 훈련하거나 GAN 기반 초해상도 기법을 사용할 경우 저해상도 탐지 성능이 향상되지만, 원본 저해상도 영상은 품질이 열 劣하므로 여전히 문제를 야기한다.

ABSTRACT

Early-stage plant density is an essential trait that determines the fate of a genotype under given environmental conditions and management practices. The use of RGB images taken from UAVs may replace traditional visual counting in fields with improved throughput, accuracy and access to plant localization. However, high-resolution (HR) images are required to detect small plants present at early stages. This study explores the impact of image ground sampling distance (GSD) on the performances of maize plant detection at 3-5 leaves stage using Faster-RCNN. Data collected at HR (GSD=0.3cm) over 6 contrasted sites were used for model training. Two additional sites with images acquired both at high and low (GSD=0.6cm) resolution were used for model evaluation. Results show that Faster-RCNN achieved very good plant detection and counting (rRMSE=0.08) performances when native HR images are used both for training and validation. Similarly, good performances were observed (rRMSE=0.11) when the model is trained over synthetic low-resolution (LR) images obtained by down-sampling the native training HR images, and applied to the synthetic LR validation images. Conversely, poor performances are obtained when the model is trained on a given spatial resolution and applied to another spatial resolution. Training on a mix of HR and LR images allows to get very good performances on the native HR (rRMSE=0.06) and synthetic LR (rRMSE=0.10) images. However, very low performances are still observed over the native LR images (rRMSE=0.48), mainly due to the poor quality of the native LR images. Finally, an advanced super-resolution method based on GAN (generative adversarial network) that introduces additional textural information derived from the native HR images was applied to the native LR validation images. Results show some significant improvement (rRMSE=0.22) compared to bicubic up-sampling approach.

연구 동기 및 목표

• 고해상도 UAV RGB 영상(GSD ≈ 0.3 cm)을 사용하여 Faster-RCNN의 옥수수 식물 탐지 정확도 및 내성 평가.
• 훈련 시 사용된 해상도와 다른 공간 해상도를 가진 영상에 모델의 일반화 능력 평가.
• 특히 저해상도 영상에서의 탐지 성능 향상을 위한 데이터 증강 기법—다운샘플링 및 초해상도 기법—의 효과성 탐구.
• 이분법적 보간법(bicubic up-sampling)과 GAN 기반 초해상도(Cycle-ESRGAN)의 비교를 통한 저해상도 검증 영상 향상 성능 평가.

제안 방법

• Faster-RCNN 객체 탐지 모델은 프랑스 전역의 여러 현장에서 획득한 다양한 비행 고도의 UAV RGB 영상으로 훈련 및 검증된다.
• 여섯 개의 대조적인 현장에서 확보한 고해상도 영상(GSD ≈ 0.3 cm)을 훈련에 사용하고, 추가로 두 개의 현장에서 고해상도 및 저해상도(GSD ≈ 0.6 cm) 영상이 제공되어 평가에 사용된다.
• 실제 저해상도 데이터를 시뮬레이션하기 위해 원본 고해상도 훈련 영상을 다운샘플링하여 인위적 저해상도 영상을 생성한다.
• 원본 저해상도 검증 영상에 GAN 기반 초해상도 모델(Cycle-ESRGAN)을 적용하여 질감 향상 및 탐지 특징 개선을 도모한다.
• 다양한 훈련 및 검증 설정에서 rRMSE, 정확도(Ac), 평균 정밀도(AP)를 사용하여 성능 평가한다.
• 고해상도 및 저해상도 영상을 병합한 데이터로 모델를 미세조정하여 다양한 해상도 영역 간 일반화 및 내성 평가.

실험 결과

연구 질문

• RQ1 지상 샘플링 거리(GSD)가 삼엽에서 오륙엽 단계의 옥수수 식물 탐지 성능에 미치는 영향은 무엇인가?
• RQ2 고해상도 영상에서 훈련한 모델이 더 높은 고도에서 획득한 저해상도 영상에 효과적으로 일반화될 수 있는가?
• RQ3 다운샘플링 및 초해상도 기법과 같은 데이터 증강 기법이 저해상도 영상에서의 탐지 성능 향상에 얼마나 기여하는가?
• RQ4 이분법적 보간법과 GAN 기반 초해상도 기법 간에 저해상도 영상 향상 성능은 어떻게 비교되는가?
• RQ5 특히 질감 손실 및 압축 아티팩트가 원본 저해상도 영상에서 탐지 성능 저하에 기여하는 정도는 어느 정도인가?

주요 결과

• Faster-RCNN는 고해상도 영상(GSD ≈ 0.3 cm)을 사용해 훈련 및 검증할 경우 rRMSE = 0.08로 뛰어난 성능을 기록했다.
• 고해상도 영상에서 생성한 인위적 저해상도 영상로 훈련한 모델는 인위적 저해상도 검증 영상에 적용했을 때도 양호한 성능(rRMSE = 0.11)을 유지했다.
• 고해상도 데이터로 훈련한 모델가 원본 저해상도 영상에 적용되었을 경우 성능이 크게 떨어졌으며(rRMSE = 0.48), 주로 영상 품질 열 劣와 질감 부족으로 인한 것이었다.
• 고해상도 및 저해상도 영상을 혼합한 데이터셋으로 훈련한 결과 강력한 성능을 기록했으며, 원본 고해상도 영상에서는 rRMSE = 0.06, 인위적 저해상도 영상에서는 rRMSE = 0.10을 기록했다.
• GAN 기반 초해상도(Cycle-ESRGAN)는 원본 저해상도 영상에서 탐지 성능을 향상시켰다(rRMSE = 0.22), 이는 이분법적 보간법(rRMSE = 0.48)보다 우수했지만 여전히 고해상도 데이터 성능에 크게 못 미쳤다.
• 초해상도 영상에서 가짜 녹색 픽셀이나 그림자 또는 배경 요소에 대한 잘못된 특징이 생성되어 일부 경우에서 임계값을 초과하는 가짜 양성 탐지가 발생했으며, 이는 현실성과 일반화 능력의 한계를 시사한다.