[論文レビュー] An Adaptive Approach for Automated Grapevine Phenotyping using VGG-based Convolutional Neural Networks

Jonatan Grimm, Katja Herzog+4 more|arXiv (Cornell University)|Nov 23, 2018

Horticultural and Viticultural Research被引用数 5

ひとこと要約

本稿では、未加工のRGBフィールド画像から直接、個体レベルの意味的セグメンテーションを実行する、VGGベースのエンドツーエンド完全畳み込みニューラルネットワーク（FCN）を提示する。この手法は、花芽、実、若茎、柄などの主要な植物部品を自動的に分類する。6つのデータセットで最大87.3%のIoUと88.6%のF1スコアを達成し、特別な照明や前処理を必要とせず、非侵襲的かつ高スループットの形で、植物の形態計測を可能にする。

ABSTRACT

In (grapevine) breeding programs and research, periodic phenotyping and multi-year monitoring of different grapevine traits, like growth or yield, is needed especially in the field. This demand imply objective, precise and automated methods using sensors and adaptive software. This work presents a proof-of-concept analyzing RGB images of different growth stages of grapevines with the aim to detect and quantify promising plant organs which are related to yield. The input images are segmented by a Fully Convolutional Neural Network (FCN) into object and background pixels. The objects are plant organs like young shoots, pedicels, flower buds or grapes, which are principally suitable for yield estimation. In the ground truth of the training images, each object is separately annotated as a connected segment of object pixels, which enables end-to-end learning of the object features. Based on the CNN-based segmentation, the number of objects is determined by detecting and counting connected components of object pixels using region labeling. In an evaluation on six different data sets, the system achieves an IoU of up to 87.3% for the segmentation and an F1 score of up to 88.6% for the object detection.

研究の動機と目的

• ブドウ育種における形態計測のボトルネックを解消し、現場での植物形態特徴の客観的・高精度・自動的モニタリングを可能にする。
• 人工的背景や夜間フラッシュ写真、Hough変換などの後処理ステップに依存する従来手法の限界を克服する。
• 各特徴に対して再設計を要せず、異なる生育段階で複数の植物部品を検出・局所化できる汎用的でエンドツーエンドのディープラーニングフレームワークを構築する。
• 一般消費者用カメラと標準的な画像取得プロトコルを用いて、大規模な育種集団や遺伝資源の非侵襲的・高スループットな形態計測を可能にする。

提案手法

• ピクセルレベルのアノテーションでエンドツーエンドにトレーニングされた、VGGベースの完全畳み込みニューラルネットワーク（FCN）を用いて、RGB画像における植物部品の意味的セグメンテーションを実行する。
• 個体レベルのアノテーション（例：1つのイチゴや花芽ごとに連結成分としてラベル付け）を採用し、オブジェクト固有の特徴を直接学習可能にする。
• セグメンテーション後にオブジェクト検出・数え上げを実行するため、CHT やHough変換などのモデル固有の検出ステップを不要にするために、領域ラベル付け（連結成分解析）を適用する。
• 希少または小さなオブジェクトのパフォーマンス向上を図るため、クラスバランスを考慮したサンプリングを用いた交差エントロピー損失でネットワークをトレーニングする。
• 推論時間と精度のバランスを取るために、重複ありまたは重複なしのパッチを用いてテスト画像を処理し、後処理後の1枚あたりの推論時間が10秒未満に収まる。
• アノテーション済みデータを再トレーニングすることで、アーキテクチャの変更なしに、未加工のフィールド画像、人工的背景画像、モバイル形態計測プラットフォームのデータ、ラボ画像など、異なるデータタイプに対応可能にする。

実験結果

リサーチクエスチョン

• RQ1 1枚の未加工で自然なフィールド画像において、1つのエンドツーエンドでトレーニング可能なCNNベースのセグメンテーションモデルが、複数のブドウ生育部品（例：花芽、実、若茎）を正確に検出・局所化できるか？
• RQ2 2段階アプローチ（例：ROI検出後にHough変換）と比較して、エンドツーエンドの個体レベルセグメンテーションの精度と頑健性はどのように異なるか？
• RQ3 同じモデルが、自然な背景対人工的背景、フィールド対ラボ環境といった異なる撮影条件や生育段階にどの程度一般化できるか？
• RQ4 重複ありと重複なしの画像パッチを用いた場合、推論速度とセグメンテーション精度のトレードオフはどのようなものか？
• RQ5 本手法は、最小限の手動介入で、大規模な集団（例：育種プログラム、遺伝資源）の高スループットな形態計測を可能にするか？

主な発見

• 最高パフォーマンスを示したデータセットでは、平均交差領域（IoU）が最大87.3%に達し、自然な背景における複雑な植物部品のセグメンテーション精度が非常に高いことが示された。
• オブジェクト検出・局所化のF1スコアは最大88.6%に達し、Rudolphら（2019）が同様のタスクで達成した75.2%のF1スコアを大きく上回った。
• 未加工のフィールド画像における花芽検出でF1スコア86.7%を達成し、先行研究の最良手法（75.2%）および同研究のROIの真値（80.0%）を上回った。
• セグメンテーションの推論時間は、後処理後1枚あたり10秒未満であり、高スループット応用に適したパイプラインであることが確認された。
• 本手法は柔軟に適応可能である：新しいアノテーション済みデータでネットワークを再トレーニングすることで、アーキテクチャの変更なしに、任意の植物部品の検出が可能になる。
• 花芽のアノテーションに35分/枚と長時間かかっても、個体レベルのアノテーションによる高い正確性のおかげで、従来の粗いポリゴンアノテーションよりも顕著に優れたモデルパフォーマンスが得られた。