[論文レビュー] LeafGAN: An Effective Data Augmentation Method for Practical Plant Disease Diagnosis

Quan Huu Cap, Hiroyuki Uga+2 more|arXiv (Cornell University)|Feb 24, 2020

Smart Agriculture and AI被引用数 9

ひとこと要約

本稿では、健康的な葉から病巣のある葉の画像を高品質に生成するための新しい画像対画像変換モデル、LeafGANを提案する。このモデルは、セグメンテーション誘導型アプローチにより、変換を葉領域に限定することで、背景に依存しないリアルな多様な病巣葉画像を生成する。この手法により、ベースライン比で7.4%の分類精度向上を達成し、従来のCycleGAN（0.7%向上）を著しく上回る。

ABSTRACT

Many applications for the automated diagnosis of plant disease have been developed based on the success of deep learning techniques. However, these applications often suffer from overfitting, and the diagnostic performance is drastically decreased when used on test datasets from new environments. In this paper, we propose LeafGAN, a novel image-to-image translation system with own attention mechanism. LeafGAN generates a wide variety of diseased images via transformation from healthy images, as a data augmentation tool for improving the performance of plant disease diagnosis. Thanks to its own attention mechanism, our model can transform only relevant areas from images with a variety of backgrounds, thus enriching the versatility of the training images. Experiments with five-class cucumber disease classification show that data augmentation with vanilla CycleGAN cannot help to improve the generalization, i.e., disease diagnostic performance increased by only 0.7% from the baseline. In contrast, LeafGAN boosted the diagnostic performance by 7.4%. We also visually confirmed the generated images by our LeafGAN were much better quality and more convincing than those generated by vanilla CycleGAN. The code is available publicly at: https://github.com/IyatomiLab/LeafGAN.

研究の動機と目的

• 限られたラボ収集データセットで学習された植物病害診断モデルにおける過学習や一般化性能の低さという深刻な課題に対処する。
• 複雑な背景や変動する環境条件下で収集された実世界のフィールド画像に展開された際のモデルの頑健性を向上させる。
• 背景や照明の自然な変動を保持しつつ、高品質でリアルな病巣葉画像を生成するデータ拡張手法を開発する。
• 従来のCycleGANでは、背景まで含めた全画像変換がなされ、非現実的な出力が生じ、性能向上が限定的であるという限界を克服する。

提案手法

• 植物病害データ拡張に特化した条件付き生成対抗ネットワーク（cGAN）に基づく、画像対画像変換フレームワークであるLeafGANを提案する。
• 入力画像から葉領域を特定・分離するためのカスタムセグメンテーションモジュール、LFLSegを統合し、変換を葉領域に限定する。
• 完全に可視でない、またはクロップされた葉画像に対しても頑健性を高めるために、セグメンテーションヘッドに「部分的葉クラス」を導入する。
• 生成器が画像変換中に葉領域に注目できるように、注目メカニズムを設計する。これにより、背景コンテンツによる干渉を最小限に抑える。
• サイクル整合性損失と敵対的損失を用いてモデルを訓練し、構造的・意味的整合性を保ちつつ、リアルな画像変換を実現する。
• 生成された画像を拡張学習データとして用い、植物病害分類器を微調整することで、未観測の実世界テストセットにおける一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 GANベースのデータ拡張手法は、実世界のフィールド収集画像に対して、植物病害分類モデルの一般化性能を顕著に向上させることができるか？
• RQ2 セグメンテーションを用いて変換を葉領域に限定することで、全画像変換に比べ、よりリアルで効果的な拡張学習データが得られるか？
• RQ3 LeafGANで生成された画像で学習した病害分類器の性能は、従来のCycleGANで生成された画像またはベースラインデータで学習した場合と比べてどのように異なるか？
• RQ4 LeafGANに組み込まれた注目メカニズムは、生成画像内の背景アーチファクトの影響をどれほど低減させ、診断特徴の学習を改善するか？

主な発見

• LeafGANは、未観測のテストデータセット（データセットB）において、植物病害分類精度を7.4%向上させ、一般化性能の顕著な向上を示した。
• 一方、従来のCycleGANを用いたデータ拡張では、ベースライン比でわずか0.7%の精度向上にとどまり、背景の非現実的変換によりほとんど利益が得られなかった。
• 視覚的検証により、LeafGANが生成した画像はCycleGANの出力よりもよりリアルで説得力があり、病巣症状が背景ではなく葉領域に限定されていることが確認された。
• LFLSegセグメンテーションモジュールの統合により、病巣のシミュレーションが葉領域に制限されたため、生成画像の質と関連性が著しく向上した。
• LeafGANに組み込まれた注目メカニズムは、生成器が生物学的に関連する特徴に注目するのを的確に誘導し、背景の手がかりに誤って依存するのを低減した。
• 改善は見られたが、LeafGANおよびCycleGANともに、遅期病巣の例が学習データに不足している場合、色の変化を誤って病巣症状と認識してしまうケースが時折発生した。