[논문 리뷰] Generative AI in Agriculture: Creating Image Datasets Using DALL.E's Advanced Large Language Model Capabilities

Ranjan Sapkota, Karkee, Manoj|arXiv (Cornell University)|2023. 07. 17.

Smart Agriculture and AI인용 수 4

한 줄 요약

이 연구는 GAN과 대규모 언어 모델 기반의 생성형 AI 모델인 DALL·E 2가 텍스트 프롬프트로부터 고해상도의 합성 농업 영상을 생성할 수 있음을 입증한다. 이는 현실 세계에서의 비용이 많이 들고 시간이 오래 소요되는 데이터 수집의 필요성을 크게 줄여준다. 생성된 영상은 MSE, PSNR, FSIM 등의 표준 지표에서 뛰어난 성능을 보이며, 현장 촬영이 필수적인 정밀 농업, 작물-잡초 구분, 병해충 감지 등의 분야에 활용 가능하다.

ABSTRACT

The field of agricultural communication is evolving rapidly with the advent of generative artificial intelligence (AI), particularly image generation technologies. As these tools begin to influence how agricultural data is visualized and disseminated, the sector's diversity spanning both technical and non-technical researchers, demands a rigorous foundational study to demystify the image generation process. This research investigated the role of artificial intelligence (AI), specifically the DALL.E model by OpenAI, in advancing data generation and visualization techniques in agriculture. DALL.E, an advanced AI image generator, works alongside ChatGPT's language processing to transform text descriptions and image clues into realistic visual representations of the content. The study used both approaches of image generation: text-to-image and image-to-image (variation). Six types of datasets depicting fruit crop environment were generated. These AI-generated images were then compared against ground truth images captured by sensors in real agricultural fields. The comparison was based on Peak Signal-to-Noise Ratio (PSNR) and Feature Similarity Index (FSIM) metrics. The image-to-image generation exhibited a 5.78% increase in average PSNR over text-to-image methods, signifying superior image clarity and quality. However, this method also resulted in a 10.23% decrease in average FSIM, indicating a diminished structural and textural similarity to the original images. Similar to these measures, human evaluation also showed that images generated using image-to-image-based method were more realistic compared to those generated with text-to-image approach. The results highlighted DALL.E's potential in generating realistic agricultural image datasets and thus accelerating the development and adoption of imaging-based precision agricultural solutions.

연구 동기 및 목표

• 실제 농업 영상 수집에 의존도를 줄이기 위해 DALL·E 2를 활용해 합성 농업 영상을 생성하는 것이 가능한지 탐색하는 것.
• 표준 영상 품질 지표를 사용하여 AI가 생성한 농업 영상의 시각적 정밀도와 정확도를 실제 영상과 비교 평가하는 것.
• 작물-잡초 분류 및 병해 감지와 같은 핵심 농업 응용 분야에서 AI가 생성한 영상의 잠재력을 입증하는 것.
• 텍스트 기반 영상 생성을 통해 전통적인 데이터 수집 방식에 비해 확장 가능하고 저비용인 대안을 제안하는 것.
• 데이터셋 확장, 피드백 루프, 고도화된 평가 방법을 통해 향후 생성형 AI를 정밀 농업 시스템에 통합할 수 있도록 이끌어내는 것.

제안 방법

• DALL·E 2를 사용하여 자연어 프롬프트에서 합성 농업 영상을 생성함. 이는 GAN 프레임워크에 기반한 텍스트 기반 생성 모델이며, 트랜스포머 기반 텍스트 인코더를 통합함.
• 다양한 농업 시나리오(과일, 식물, 잡초-작물 분류 등)에 적합한 정밀한 텍스트 기반 묘사를 생성하고 보완하기 위해 GPT-4와 chatGPT를 통합함.
• 건강한 식물, 병변이 있는 식물, 다양한 작물, 현장 조건 등을 포함한 여러 농업 카테고리에 걸쳐 AI가 생성한 영상의 정교한 데이터셋을 구축함.
• 표준 지표인 평균 제곱 오차(MSE), 피크 신호 대 잡음 비율(PSNR), 특징 유사도 지수(FSIM)를 사용해 영상 품질을 평가함.
• 실제 영상과의 비교를 통해 현실감과 구조적 일致성을 평가하며, 주로 시각적 정밀도와 의미 정확도에 초점을 맞춤.
• 향후 도입을 위한 다섯 단계 로드맵을 제안함: 데이터셋 확장, 고도화된 훈련, 전문가 피드백 통합, 다양한 평가 지표(예: Inception Score) 사용, 시스템 통합.

Figure 1: A modified birds-eye view of the DALL-E 2 image generation process in Agricultural Settings, showcasing the transformation of text prompts into agriculture-specific images for research and analysis.

실험 결과

연구 질문

• RQ1 DALL·E 2는 자연어 묘사만으로 고품질이고 현실적인 농업 영상을 생성할 수 있는가?
• RQ2 AI가 생성한 농업 영상의 시각적 특성은 실제 영상과 비교해 구조적 유사성과 인지적 유사성 측면에서 어떻게 다른가?
• RQ3 AI가 생성한 영상은 작물-잡초 분류 및 병해 감지와 같은 핵심 농업 작업을 어느 정도 지원할 수 있는가?
• RQ4 현재의 합성 영상 생성 기술은 복잡한 농업 시나리오를 얼마나 잘 재현할 수 있으며, 그 한계는 무엇이며 어떻게 보완할 수 있는가?
• RQ5 DALL·E 2와 같은 생성형 AI 모델은 기존의 농업 연구 및 정밀 농업 워크플로에 어떻게 체계적으로 통합될 수 있는가?

주요 결과

• DALL·E 2는 텍스트 프롬프트에서 사진처럼 현실적인 농업 영상을 성공적으로 생성하여 입력 묘사와 출력 시각 간 강력한 일치를 보였다.
• AI가 생성한 영상은 표준 영상 품질 지표에서 경쟁적인 성능을 보였으며, 보고된 MSE, PSNR, FSIM 값은 높은 시각적 정밀도를 시사한다.
• 합성 영상은 작물-잡초 분류 및 식물 건강 상태와 같은 복잡한 농업 시나리오를 효과적으로 포착하여 AI 훈련 및 의사결정 지원에 활용 가능성을 보였다.
• AI가 생성한 영상의 활용은 실제 현장 촬영에 소요되는 시간, 노동력, 비용을 크게 줄여주며, 데이터 요구량이 많은 AI 응용 분야에 대해 확장 가능한 대안을 제공한다.
• MSE, PSNR, FSIM 등의 다중 평가 지표를 통한 평가 결과, 생성된 영상이 실제 영상과 구조적·인지적으로 유사함을 확인하여 AI 모델 훈련 및 테스트에 활용 가능함을 입증했다.
• 본 연구는 데이터셋 확장, 전문가 피드백 통합, 향상된 평가 기법(예: 다양성 평가를 위한 Inception Score 활용 가능성 포함)을 통해 향후 도입에 명확한 길을 제시한다.

Figure 2: This flowchart illustrates the study’s workflow, which involves categorizing datasets, using these to generate initial images with the DALL·E 2 Model, refining these outputs by incorporating original images, and finally producing high-quality, refined images