[논문 리뷰] deepNIR: Datasets for Generating Synthetic NIR Images and Improved Fruit Detection System Using Deep Learning Techniques

Inkyu Sa, Jong Yoon Lim외 2명|arXiv (Cornell University)|2022. 06. 22.

Smart Agriculture and AI참고 문헌 52인용 수 28

한 줄 요약

이 논문은 상업 농장 및 재가공된 공개 데이터셋(nirscene, SEN12MS)에서 유래한 161,500개의 RGB-NIR 쌍 이미지로 구성된 공개된 deepNIR 데이터셋을 소개한다. 이는 조건부 GAN을 통해 고해상도의 합성 근적외선(NIR) 이미지 생성을 가능하게 한다. 방법은 nirscene 서브셋에서 11.36의 Frechet Inception Distance(FID)를 달성하였으며, YOLOv5를 활용한 과일 검출 성능을 향상시켜 11종의 과일에 대해 최대 mAP[0.5:0.95] 점수 0.812를 기록하였다.

ABSTRACT

This paper presents datasets utilised for synthetic near-infrared (NIR) image generation and bounding-box level fruit detection systems. A high-quality dataset is one of the essential building blocks that can lead to success in model generalisation and the deployment of data-driven deep neural networks. In particular, synthetic data generation tasks often require more training samples than other supervised approaches. Therefore, in this paper, we share the NIR+RGB datasets that are re-processed from two public datasets (i.e., nirscene and SEN12MS), expanded our previous study, deepFruits, and our novel NIR+RGB sweet pepper (capsicum) dataset. We oversampled from the original nirscene dataset at 10, 100, 200, and 400 ratios that yielded a total of 127 k pairs of images. From the SEN12MS satellite multispectral dataset, we selected Summer (45 k) and All seasons (180k) subsets and applied a simple yet important conversion: digital number (DN) to pixel value conversion followed by image standardisation. Our sweet pepper dataset consists of 1615 pairs of NIR+RGB images that were collected from commercial farms. We quantitatively and qualitatively demonstrate that these NIR+RGB datasets are sufficient to be used for synthetic NIR image generation. We achieved Frechet inception distances (FIDs) of 11.36, 26.53, and 40.15 for nirscene1, SEN12MS, and sweet pepper datasets, respectively. In addition, we release manual annotations of 11 fruit bounding boxes that can be exported in various formats using cloud service. Four newly added fruits (blueberry, cherry, kiwi and wheat) compound 11 novel bounding box datasets on top of our previous work presented in the deepFruits project (apple, avocado, capsicum, mango, orange, rockmelon and strawberry). The total number of bounding box instances of the dataset is 162 k and it is ready to use from a cloud service. For the evaluation of the dataset, Yolov5 single stage detector is exploited and reported impressive mean-average-precision, mAP[0.5:0.95] results of min:0.49, max:0.812. We hope these datasets are useful and serve as a baseline for future studies.

연구 동기 및 목표

• 농업 분야에서 합성 NIR 이미지 생성 모델을 훈련하기 위한 고품질, 공개 가능한 RGB-NIR 쌍 데이터셋의 부족 문제를 해결하기 위해.
• 딥러닝 파ip라인에서 보조 입력으로 합성 NIR 이미지를 활용하여 과일 검출 성능을 향상시키기 위해.
• 정확한 바운딩 박스 레이블이 추가된 네 가지 신규 과일 클래스(블루베리, 체리, 키위, 밀)를 포함하여 deepFruits 데이터셋을 확장하기 위해.
• 합성 이미지 생성 및 객체 검출 분야에서 재현 가능한 오픈 벤치마크를 제공하기 위해.
• 일반적인 데이터셋인 COCO나 ImageNet 대신 농업 분야에 특화된 커리티드 데이터셋을 사용하여 도메인 특화 미리 훈련을 가능하게 하기 위해.

제안 방법

• 훈련 데이터 스케일을 증가시키기 위해, 과도한 샘플링(10배에서 400배로 확장)과 이미지 표준화(μ=0, σ=1)를 통해 두 개의 공개 데이터셋(nirscene 및 SEN12MS)을 재가공하고 확장하였다.
• 일관된 조명 조건과 방사능 캘리브레이션을 확보한 상업 농장에서 수집한 고품질 페퍼(파프리카) 데이터셋을 신규로 확보하여 총 1,615개의 RGB-NIR 이미지 쌍을 확보하였다.
• 픽셀 단위 손실 함수와 인지적 손실 함수를 사용하여 RGB에서 합성 NIR 이미지로의 매핑을 학습하기 위해 조건부 생성 적대적 네트워크(cGAN)를 훈련시켰다.
• 생성된 합성 NIR 이미지의 현실성 수준을 정량적으로 평가하기 위해 Frechet Inception Distance(FID) 지표를 적용하였다.
• YOLOv5를 단일 단계 객체 검출기로 사용하여 RGB 및 합성 NIR 입력을 모두 활용하도록 최적화하였으며, mAP[0.5:0.95] 및 mAP[0.5] 지표로 성능을 평가하였다.
• 즉각적인 후속 작업을 위해 여러 형식(COCO, YOLO 등)으로 클라우드 호스팅된 내보낼 수 있는 바운딩 박스 레이블을 제공하였다.

실험 결과

연구 질문

• RQ1 딥러닝을 활용해 RGB 입력에서 생성된 합성 NIR 이미지가 농업 분야에 적합한 높은 인지적 정밀도와 통계적 유사도를 확보할 수 있는가?
• RQ2 합성 NIR 이미지를 실제 농업 환경에서의 과일 검출 모델 성능 향상에 얼마나 기여하는가?
• RQ3 훈련 데이터셋의 규모와 품질이 합성 이미지 생성 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ4 일반적인 ImageNet 또는 COCO 데이터셋 대비 농업 분야에 특화된 커리티드 데이터셋을 활용한 도메인 특화 미리 훈련이 어떤 영향을 미치는가?
• RQ5 다양한 과일 종류는 합성 NIR 증강에 대해 mAP 향상 또는 악화에 어떻게 반응하는가?

주요 결과

• deepNIR 데이터셋은 nirscene1 서브셋에서 FID 11.36, SEN12MS에서 26.53, 페퍼 데이터셋에서 40.15를 기록하여 합성 NIR 생성의 높은 현실성 수준을 입증하였다.
• 확장된 deepFruits 데이터셋에서 YOLOv5 검출기는 최대 mAP[0.5:0.95] 0.812를 기록하여 11종의 과일에 대해 강력한 검출 성능을 보였다.
• 사과 검출의 경우, 합성 NIR 입력이 mAP[0.5:0.95]를 0.005 향상시켜 일부 사례에서 긍정적인 영향을 미쳤다.
• 체리와 키위 검출 성능은 각각 mAP[0.5:0.95]가 0.03과 0.09 감소하여 도메인 이동 또는 분포 불일치 문제를 시사하였다.
• 파프리카 검출은 mAP[0.5:0.95]가 0.01 감소했지만, mAP[0.5]는 0.01 증가하여 합성 NIR이 부분적으로 가림되거나 그림자에 갇힌 과일을 탐지하는 데 도움이 될 수 있음을 나타냈다.
• 본 연구는 합성 NIR 생성이 테스트 및 훈련 분포가 유사할 경우에만 효과적임을 입증하였으며, 다양한 실제 환경 조건 간의 일반화 문제에 도전 과제가 있음을 강조하였다.