[論文レビュー] Generative Adversarial Networks for Image Augmentation in Agriculture: A Systematic Review

Ebenezer O. Olaniyi, Dong Chen+2 more|arXiv (Cornell University)|Apr 10, 2022

Smart Agriculture and AI被引用数 9

ひとこと要約

本システマティックレビューでは、農業分野における画像拡張に生成的対抗ネットワーク（GANs）を評価し、植物の健康モニタリング、雑草の検出、果実の点検といったタスクにおけるモデル性能の向上を実証した。GANは現実的で多様な農業画像を生成することで、データ不足やクラス不均衡の問題を軽減し、手動でのアノテーションを最小限に抑えつつ、ディープラーニングモデルの性能を著しく向上させる。

ABSTRACT

In agricultural image analysis, optimal model performance is keenly pursued for better fulfilling visual recognition tasks (e.g., image classification, segmentation, object detection and localization), in the presence of challenges with biological variability and unstructured environments. Large-scale, balanced and ground-truthed image datasets, however, are often difficult to obtain to fuel the development of advanced, high-performance models. As artificial intelligence through deep learning is impacting analysis and modeling of agricultural images, data augmentation plays a crucial role in boosting model performance while reducing manual efforts for data preparation, by algorithmically expanding training datasets. Beyond traditional data augmentation techniques, generative adversarial network (GAN) invented in 2014 in the computer vision community, provides a suite of novel approaches that can learn good data representations and generate highly realistic samples. Since 2017, there has been a growth of research into GANs for image augmentation or synthesis in agriculture for improved model performance. This paper presents an overview of the evolution of GAN architectures followed by a systematic review of their application to agriculture (https://github.com/Derekabc/GANs-Agriculture), involving various vision tasks for plant health, weeds, fruits, aquaculture, animal farming, plant phenotyping as well as postharvest detection of fruit defects. Challenges and opportunities of GANs are discussed for future research.

研究の動機と目的

• 高精度なディープラーニングモデルの開発を妨げる、限られた数のデータ、不均衡なデータ、および不均衡な農業画像データセットの課題に対処すること。
• 現実的な農業画像を合成する新しいデータ拡張技術としての生成的対抗ネットワーク（GANs）の可能性を調査すること。
• 植物の形態計測、雑草・害獣の検出、収穫後の品質点検を含む、多様な農業分野におけるGANの応用を体系的に分析すること。
• 特にドメイン適応とデータ一般化の観点から、GANを農業画像解析に応用する際の主な課題と機会を特定すること。
• 農業画像生成に向けたGANアーキテクチャの概要とその進化を包括的に提示し、今後の研究およびモデル開発を支援すること。

提案手法

• 2017年以降に発表された、農業分野におけるGANベースの画像拡張に関するシステマティックな文献レビューを実施した。
• 応用と性能に基づき、条件付きGAN、サイクルGAN、pix2pix、StyleGANの変種を含む、農業分野で用いられたGANアーキテクチャを分類した。
• 植物の葉、果実、畑の風景などの現実的で多様かつ意味的に意味のある農業画像を生成するGANの能力を評価した。
• 画像分類、セマンティックセグメンテーション、オブジェクト検出、インスタンスロケーションなどのタスクにおけるディープラーニングパイプラインへのGANの統合を分析した。
• レビュー対象の研究から報告された定量的指標を用いて、GANによる拡張データセットがモデルの正確性、一般化性能、耐障害性に与える影響を評価した。
• スタイル変換やドメイン不変特徴学習を含む、ドメイン適応を可能にするGANに起因する技術について議論した。

実験結果

リサーチクエスチョン

• RQ1 どのGANアーキテクチャが、さまざまなビジョンタスクにおいて現実的な農業画像を生成するのに最も効果的であったか？
• RQ2 従来の拡張法と比較して、GANベースのデータ拡張は、農業画像解析におけるディープラーニングモデルの性能をどのように向上させたか？
• RQ3 データ品質、モード崩壊、ドメインシフトを含む、農業画像生成へのGANの応用における主な課題は何か？
• RQ4 植物の健康状態、雑草の検出、収穫後の点検といった農業応用分野において、GANベースの拡張が最も顕著な性能向上を示した分野はどれか？
• RQ5 農業コンピュータビジョン分野におけるGANベースのドメイン適応と一般化に関する今後の研究における機会は何か？

主な発見

• GANベースのデータ拡張は、農業画像タスクにおけるモデル性能を顕著に向上させ、一部の研究では正確性の向上が最大10–15%に達した。
• 条件付きGANとサイクルGANは、照明、季節、植物種の違いなど、異なる環境間での画像転送といったドメイン適応タスクにおいて特に効果的であった。
• StyleGANおよびその変種は、植物の形態や果実の外観を高精細に生成でき、セグメンテーションや検出モデルの強固な訓練を可能にした。
• GANは、不足しているクラスを合成することで、雑草や害獣の検出におけるモデルの再現率とF1スコアの向上に効果的に寄与した。
• 性能向上にもかかわらず、モード崩壊、学習の不安定性、高い計算コストといった課題が、農業分野におけるGAN応用で頻出していた。
• 本レビューでは、最小限のラベル付きデータでモデルを展開できるゼロショット学習やフェイシュート学習へのGANの応用が増加傾向にあると同定した。