[論文レビュー] Semi-supervised GAN for Classification of Multispectral Imagery Acquired by UAVs

Hamideh Kerdegari, Manzoor Razaak+2 more|arXiv (Cornell University)|May 24, 2019

Smart Agriculture and AI参考文献 13被引用数 10

ひとこと要約

本論文では、限られたラベル付きデータにおけるマルチスペクトルUAV画像分類の精度向上を目的として、半教師ありGANフレームワークを提案する。生成器を用いて現実的な合成画像を生成し、少数のラベル付きサンプル上でマルチクラス分類器（判別器）を学習させることで、本手法はweedNetデータセットにおいて高い精度を達成した。これは、精密農業における低データ環境下でのGANベースのデータ拡張の有効性を示している。

ABSTRACT

Unmanned aerial vehicles (UAV) are used in precision agriculture (PA) to enable aerial monitoring of farmlands. Intelligent methods are required to pinpoint weed infestations and make optimal choice of pesticide. UAV can fly a multispectral camera and collect data. However, the classification of multispectral images using supervised machine learning algorithms such as convolutional neural networks (CNN) requires large amount of training data. This is a common drawback in deep learning we try to circumvent making use of a semi-supervised generative adversarial networks (GAN), providing a pixel-wise classification for all the acquired multispectral images. Our algorithm consists of a generator network that provides photo-realistic images as extra training data to a multi-class classifier, acting as a discriminator and trained on small amounts of labeled data. The performance of the proposed method is evaluated on the weedNet dataset consisting of multispectral crop and weed images collected by a micro aerial vehicle (MAV). The results by the proposed semi-supervised GAN achieves high classification accuracy and demonstrates the potential of GAN-based methods for the challenging task of multispectral image classification.

研究の動機と目的

• マルチスペクトルUAV画像分類におけるディープラーニングにおけるラベル付き学習データの不足という課題に対処すること。
• 最小限のアノテーションデータを用いて、精密農業における雑草および作物の正確な分類を可能にすること。
• 生成的対抗ネットワークを活用して、データ拡張のための現実的でリアルなマルチスペクトル画像を合成すること。
• 広範な手動アノテーションを必要としない半教師あり学習フレームワークを構築し、分類器の性能を向上させること。
• リソース制約のあるリモートセンシング応用において、GANを用いた分類性能向上の可能性を実証すること。

提案手法

• ランダムノイズとクラスラベルから、写真のようにリアルなマルチスペクトル画像を生成する生成器ネットワークを備えた条件付きGANアーキテクチャを採用する。
• 少数のラベル付きマルチスペクトル画像上でマルチクラス分類器（判別器）を学習させ、本物の画像と生成画像を区別するようにする。
• 訓練済みの分類器を弱教師信号として活用し、合成データの品質と関連性を向上させる。
• 生成器と判別器を敵対的に繰り返し訓練し、生成器がリアルでクラス固有の画像を生成するように学習させる。
• 最終的な分類器を、実際のラベル付きデータと生成された合成データの両方で微調整することで、汎化性能と性能を向上させる。
• 評価のベンチマークとして、マイクロ航空機（MAVs）を用いて収集されたweedNetデータセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータを用いたマルチスペクトルUAV画像分類において、半教師ありGANが効果的に分類精度を向上させることができるか？
• RQ2 GANで生成された合成画像は、精密農業における実世界のマルチスペクトル分類タスクにどの程度一般化可能か？
• RQ3 限られたアノテーションを用いた標準的な教師あり学習と比較して、敵対的データ拡張によりどの程度の性能向上が得られるか？
• RQ4 提案手法は、UAVを用いた作物モニタリングにおいて、大規模な手動アノテーションへの依存度をどの程度低減できるか？
• RQ5 実画像と合成マルチスペクトルデータの組み合わせで訓練された分類器は、どの程度のロバストネスを示すか？

主な発見

• 提案された半教師ありGANは、わずかなラベル付き学習データしか使用しなくても、weedNetデータセットで高い分類精度を達成した。
• GANで生成された合成画像の導入により、実データのみで学習した場合と比較して、分類器の性能が顕著に向上した。
• 本手法は強力な一般化能力を示し、データ拡張に効果的な現実的でリアルなマルチスペクトル画像を生成した。
• 低データ環境下において、半教師ありGANフレームワークを用いて訓練された分類器は、ベースラインの教師ありモデルを上回った。
• 結果から、雑草検出のような挑戦的なリモートセンシング応用分野において、GANベースの半教師あり学習の可能性が裏付けられた。
• 本フレームワークは、手動アノテーションの必要性を効果的に低減しており、実世界の精密農業への展開に実用的であることが示された。