[논문 리뷰] Semi-supervised GAN for Classification of Multispectral Imagery Acquired by UAVs

Hamideh Kerdegari, Manzoor Razaak외 2명|arXiv (Cornell University)|2019. 05. 24.

Smart Agriculture and AI참고 문헌 13인용 수 10

한 줄 요약

이 논문은 제한된 레이블이 부여된 데이터를 바탕으로 다중스펙트럼 UAV 영상의 분류 성능을 향상시키기 위해 준지도 학습 GAN 프레임워크를 제안한다. 생성자에 의해 실재감 있는 합성 영상을 생성하고, 소수의 레이블이 부여된 예시를 바탕으로 다중 클래스 분류기(판별자)를 훈련시킴으로써, 이 방법은 weedNet 데이터셋에서 높은 정확도를 달성하며, 정밀 농업 분야에서 데이터가 부족한 환경에서 GAN 기반 데이터 증강의 효과성을 입증한다.

ABSTRACT

Unmanned aerial vehicles (UAV) are used in precision agriculture (PA) to enable aerial monitoring of farmlands. Intelligent methods are required to pinpoint weed infestations and make optimal choice of pesticide. UAV can fly a multispectral camera and collect data. However, the classification of multispectral images using supervised machine learning algorithms such as convolutional neural networks (CNN) requires large amount of training data. This is a common drawback in deep learning we try to circumvent making use of a semi-supervised generative adversarial networks (GAN), providing a pixel-wise classification for all the acquired multispectral images. Our algorithm consists of a generator network that provides photo-realistic images as extra training data to a multi-class classifier, acting as a discriminator and trained on small amounts of labeled data. The performance of the proposed method is evaluated on the weedNet dataset consisting of multispectral crop and weed images collected by a micro aerial vehicle (MAV). The results by the proposed semi-supervised GAN achieves high classification accuracy and demonstrates the potential of GAN-based methods for the challenging task of multispectral image classification.

연구 동기 및 목표

• 다중스펙트럼 UAV 영상 분류를 위한 딥러닝에서 레이블이 부족한 훈련 데이터 문제를 해결한다.
• 최소한의 주석 데이터를 사용하여 정밀 농업에서 잡초와 작물의 정확한 분류를 가능하게 한다.
• 생성적 적대적 네트워크를 활용하여 데이터 증강을 위한 실재감 있는 다중스펙트럼 영상을 합성한다.
• 광범위한 수동 주석 작업이 필요 없이 분류기 성능을 향상시키는 준지도 학습 프레임워크를 개발한다.
• 자원이 제한된 원격 감시 응용 분야에서 GAN을 활용한 분류 향상의 가능성에 대해 입증한다.

제안 방법

• 랜덤 노이즈와 클래스 레이블에서 실재감 있는 다중스펙트럼 영상을 생성하는 생성자 네트워크를 갖춘 조건부 GAN 아키텍처를 사용한다.
• 소수의 레이블이 부여된 다중스펙트럼 영상에서 다중 클래스 분류기(판별자)를 훈련시어 진짜 영상와 생성된 영상을 구분한다.
• 훈련된 분류기를 약한 지도 신호로 활용하여 생성자를 개선함으로써 합성 데이터의 품질과 관련성을 향상시킨다.
• 생성자와 판별자를 적대적으로 반복적으로 훈련시며, 생성자는 실재감 있고 클래스에 특화된 영상을 생성하도록 학습한다.
• 최종 분류기를 진짜 레이블이 부여된 데이터와 생성된 합성 데이터 양쪽에 대해 훈련시켜 일반화 능력과 성능을 향상시킨다.
• 평가의 기준으로 마이크로 항공기(MAVs)를 통해 수집된 weedNet 데이터셋을 사용한다.

실험 결과

연구 질문

• RQ1 준지도 학습 GAN이 제한된 레이블이 부여된 다중스펙트럼 UAV 영상 분류에서 정확도를 효과적으로 향상시킬 수 있는가?
• RQ2 GAN으로 생성된 합성 영상이 정밀 농업 분야의 실제 다중스펙트럼 분류 작업에 얼마나 잘 일반화되는가?
• RQ3 제한된 주석이 부여된 경우 표준 지도 학습 대비 적대적 데이터 증강의 성능 향상은 어느 정도인가?
• RQ4 제안된 방법이 UAV 기반 작물 모니터링에서 대규모 수동 주석 작업에 대한 의존도를 어느 정도 줄이는가?
• RQ5 진짜와 합성 다중스펙트럼 데이터의 조합으로 훈련된 분류기가 얼마나 견고한가?

주요 결과

• 제안된 준지도 학습 GAN은 소수의 레이블이 부여된 훈련 데이터만을 사용함에도 불구하고 weedNet 데이터셋에서 높은 분류 정확도를 달성한다.
• GAN으로 생성된 합성 영상의 포함으로 인해 실재 데이터만으로 훈련한 경우보다 분류기의 성능 향상이 뚜렷하게 향상된다.
• 이 방법은 강력한 일반화 능력을 보이며, 데이터 증강에 효과적인 실재감 있는 다중스펙트럼 영상을 생성한다.
• 낮은 데이터 환경에서 기준 지도 학습 모델에 비해 준지도 학습 GAN 프레임워크로 훈련된 분류기가 더 뛰어난 성능을 보인다.
• 결과는 정밀 농업 분야에서 잡초 탐지와 같은 도전적인 원격 감시 응용 분야에서 GAN 기반 준지도 학습의 잠재력을 확인한다.
• 이 프레임워크는 광범위한 수동 주석 작업의 필요성을 효과적으로 줄여 실생활 정밀 농업 적용에 실용성을 부여한다.