[論文レビュー] Efficient identification, localization and quantification of grapevine inflorescences in unprepared field images using Fully Convolutional Networks

Robert Rudolph, Katja Herzog+2 more|arXiv (Cornell University)|Jul 10, 2018

Horticultural and Viticultural Research参考文献 18被引用数 6

ひとこと要約

本論文は、市販のカメラを用いた未加工の現地画像において、自動的で非侵襲的かつ高スループットなブドウの花序および個々の花の検出、局在化、定量を目的とした、完全畳み込みニューラルネットワーク（FCN）ベースの手法を提示する。この手法は、花序のセグメンテーションで平均87.6%の交差率（IoU）を達成し、花抽出では80.3%の再現率と70.7%の適合率を示し、育種およびブドウ園管理における早期収量予測のための高スループットで客観的な形質計測を可能にする。

ABSTRACT

Yield and its prediction is one of the most important tasks in grapevine breeding purposes and vineyard management. Commonly, this trait is estimated manually right before harvest by extrapolation, which mostly is labor-intensive, destructive and inaccurate. In the present study an automated image-based workflow was developed quantifying inflorescences and single flowers in unprepared field images of grapevines, i.e. no artificial background or light was applied. It is a novel approach for non-invasive, inexpensive and objective phenotyping with high-throughput. First, image regions depicting inflorescences were identified and localized. This was done by segmenting the images into the classes "inflorescence" and "non-inflorescence" using a Fully Convolutional Network (FCN). Efficient image segmentation hereby is the most challenging step regarding the small geometry and dense distribution of flowers (several hundred flowers per inflorescence), similar color of all plant organs in the fore- and background as well as the circumstance that only approximately 5% of an image show inflorescences. The trained FCN achieved a mean Intersection Over Union (IOU) of 87.6% on the test data set. Finally, individual flowers were extracted from the "inflorescence"-areas using Circular Hough Transform. The flower extraction achieved a recall of 80.3% and a precision of 70.7% using the segmentation derived by the trained FCN model. Summarized, the presented approach is a promising strategy in order to predict yield potential automatically in the earliest stage of grapevine development which is applicable for objective monitoring and evaluations of breeding material, genetic repositories or commercial vineyards.

研究の動機と目的

• 人工的背景や制御照明を用いずに、現実の現地条件下におけるブドウの花序および花の自動的で非侵襲的かつ高スループットな形質計測手法の開発を目的とする。
• 低ピクセルカバレッジ（約5%）、植物部品同士の類似色、自然な現地画像における花の密集といった課題を克服することを目的とする。
• 果実形成前の花序および花の定量により、早期収量予測を可能とし、育種プログラムおよびブドウ園管理を支援することを目的とする。
• 人的に負担が大きく、主観的かつしばしば破壊的な手作業による形質計測手法に代わって、客観的でスケーラブルでコスト効率の良い画像処理ソリューションを提供することを目的とする。

提案手法

• 未加工の現地画像において、各ピクセルを「花序」または「非花序」と分類するセマンティックセグメンテーションを実行するため、完全畳み込みニューラルネットワーク（FCN）を訓練した。
• 空間的詳細を保持するため、スキップ接続を備えたU-Netに類似したアーキテクチャを採用し、小さな密集した花序の正確な局在化を可能とした。
• GPU上で1216×1216ピクセルの画像パッチを処理し、並列処理を最大化した。パッチの接合とエッジでのミラー処理により、全体画像の再構築を実現した。
• セグメンテーションの後、円形ハフ変換を用いて、セグメンテーションされた花序領域内での個々の花の検出を実施した。
• 評価は、自然光および現地条件下で市販のデジタルカメラで撮影された実際の現地画像のテストセットを用いて行った。
• 実行時間は標準のラップトップGPUで測定され、画像ごとにセグメンテーションに7.8秒、花抽出に4.16秒を要し、合計で約12秒/画像となった。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込みニューラルネットワークは、最小限の前処理および人工的背景なしに、未加工の現地画像におけるブドウの花序を正確にセグメンテーションできるか？
• RQ2 FCNベースのセグメンテーションと円形ハフ変換の組み合わせは、密集した花序構造内での個々の花の検出にどの程度効果的か？
• RQ3 このパイプラインは、どの程度、収量予測のための早期で非破壊的かつ高スループットなブドウの花の形質計測を可能にするか？
• RQ4 この手法は、多様な遺伝子型および現地条件下で、従来の手作業または準自動的手法に比べ、正確性、客観性、スケーラビリティの面で優れていると言えるか？

主な発見

• FCNはテストセットで平均87.6%の交差率（IoU）を達成し、複雑な自然な現地画像からの花序領域のセグメンテーションにおいて高い正確性を示した。
• FCNでセグメンテーションされた花序領域に円形ハフ変換を適用した花抽出では、再現率80.3%、適合率70.7%を達成した。
• システムは5472×3648ピクセルのフル画像を約12秒で処理でき、セグメンテーションが主な性能ボトルネックであった。
• この手法により、市販のカメラを用いてブドウの花序および花の信頼性が高く、非侵襲的かつスケーラブルな形質計測がブドウ園で直接可能となった。
• 花数の比較とその後のベリー数の測定を用いることで、果実脱落（coulure）の形質計測および早期収量予測を支援する。
• 今後の改善策として、ハフ変換の代わりに個々の花をピクセルレベルのアノテーションのみで学習可能なCNNベースの花検出器を導入することが考えられる。