[論文レビュー] Leaf segmentation through the classification of edges

Jonathan Bell, Hannah Dee|arXiv (Cornell University)|Apr 5, 2019

Leaf Properties and Growth MeasurementAgricultural and Biological Sciences参考文献 18被引用数 17

ひとこと要約

本論文では、アラビドキシス・タリアナの植物の上面図において、重い被覆下でも正確な葉数え上げと面積推定を可能にする、浅い畳み込みニューラルネットワーク（CNN）を用いた新しいエッジ分類アプローチを提案する。Canny検出によるエッジを、背景、植物縁、葉同士の縁、内部ノイズの4つのカテゴリに分類することで、従来手法を上回る頑健な領域ベースのセグメンテーションを実現する。

ABSTRACT

We present an approach to leaf level segmentation of images of Arabidopsis thaliana plants based upon detected edges. We introduce a novel approach to edge classification, which forms an important part of a method to both count the leaves and establish the leaf area of a growing plant from images obtained in a high-throughput phenotyping system. Our technique uses a relatively shallow convolutional neural network to classify image edges as background, plant edge, leaf-on-leaf edge or internal leaf noise. The edges themselves were found using the Canny edge detector and the classified edges can be used with simple image processing techniques to generate a region-based segmentation in which the leaves are distinct. This approach is strong at distinguishing occluding pairs of leaves where one leaf is largely hidden, a situation which has proved troublesome for plant image analysis systems in the past. In addition, we introduce the publicly available plant image dataset that was used for this work.

研究の動機と目的

• ロゼット植物に一般的に見られる葉同士の被覆状態が顕著な高スループット植物形態解析において、葉レベルのセグメンテーションの課題に対処すること。
• 全植物セグメンテーションの改善を通じて、動的成長解析に不可欠な個々の葉の数え上げと面積推定を可能にすること。
• 自動化された植物形態解析環境で一般的に見られる低解像度、ボケ、歪みのある画像に対して頑健である手法の開発。
• 今後の植物画像解析およびディープラーニング研究を支援するため、公開可能で高品質なデータセットの作成とリリース。
• トレーニング済みモデルの異なるデータセット（LSC A2ベンチマークを含む）への汎用性を実証することで、一般化可能性を検証すること。

提案手法

• セグメンテーションパイプラインの初期入力として、Cannyエッジ検出器を用いて上面図のエッジを検出する。
• 各検出エッジを、背景、植物縁、葉同士の縁、内部葉ノイズの4つのカテゴリに分類するため、浅い畳み込みニューラルネットワークを訓練する。
• 分類済みエッジを、領域拡張法またはモルフォロジカルセグメンテーションアルゴリズムの入力として用い、明確に分離された葉領域を生成する。
• 従来手法が失敗するような重なり領域、特に被覆領域における曖昧さを、エッジ分類の活用により解消する。
• 再トレーニングなしで、新しい画像にトレーニング済みCNNを適用可能であり、ユーザーの干渉を最小限に抑えた高スループット植物形態解析システムへの導入を可能にする。
• 人間の介入を排除し、トレーニング済みモデルと分類後の画像処理に依存することで、スケーラビリティと自動化を確保する。

実験結果

リサーチクエスチョン

• RQ1 浅いCNNを用いたエッジ分類は、従来の全植物セグメンテーションと比較して、被覆下のロゼット植物における葉セグメンテーションの正確性を向上させることができるか？
• RQ2 エッジ分類モデルは、LSC A2ベンチマークのような異なる画像設定やデータセットに、どの程度一般化できるか？
• RQ3 高スループット植物形態解析プラットフォームで一般的な低解像度、わずかなボケ、バケツ歪みの画像に対して、この手法はどの程度耐性を示すか？
• RQ4 公開済みのアノテーション付きデータセット（ALED）の使用は、植物画像解析分野におけるモデルの一般化能力向上とコミュニティの採用促進に寄与するか？
• RQ5 葉の形状や幾何学的モデルに関する事前知識に依存せずに、この手法が高精度な葉数え上げとセグメンテーションを達成できるか？

主な発見

• 提案手法は、特に葉同士の重なり領域において、重度の被覆下でも優れた性能を発揮し、葉のセグメンテーションを実現する。
• ALEDデータセットでトレーニングしたモデルは、LSC A2ベンチマークデータセットに対してもある程度良好に一般化しており、データセット間での転送可能性が示された。
• 葉数え上げの結果は、2015年リーフセグメンテーションチャレンジで報告された結果と同等またはそれ以上の精度を示し、精度の向上が確認された。
• 低解像度（5 MP）、わずかなボケ、バケツ歪みといった画像品質のばらつきに対しても、本手法は頑健であることが示された。これは、自動化された植物形態解析システムで一般的に見られる特徴である。
• 浅いCNNを用いることで、高精度な推論が効率的に行えるため、高スループット自動化を実現可能であり、高価な計算リソースを必要としない。
• 詳細なアノテーションが施されたALEDデータセットのリリースは、植物画像解析および形態解析のためのディープラーニング分野における研究進展を加速すると期待される。