[論文レビュー] Counting and Segmenting Sorghum Heads

Min-hwan Oh, Peder A. Olsen+1 more|arXiv (Cornell University)|May 30, 2019

Wood and Agarwood Research参考文献 55被引用数 13

ひとこと要約

本稿では、空中画像におけるソルゴーの穂の自動計数およびインスタンスセグメンテーションのための2段階のディーブラーニングフレームワークを提案する。計数には新規の密度マップベースのCNNを、セグメンテーションにはオクルージョンに強いクラスタリングアルゴリズムを用いる。計数では平均絶対誤差（MAE）1.06、インスタンスセグメンテーションではmAP 0.66を達成し、CSRNet や従来の手法など最先端の手法を上回る性能を発揮した。

ABSTRACT

Phenotyping is the process of measuring an organism's observable traits. Manual phenotyping of crops is a labor-intensive, time-consuming, costly, and error prone process. Accurate, automated, high-throughput phenotyping can relieve a huge burden in the crop breeding pipeline. In this paper, we propose a scalable, high-throughput approach to automatically count and segment panicles (heads), a key phenotype, from aerial sorghum crop imagery. Our counting approach uses the image density map obtained from dot or region annotation as the target with a novel deep convolutional neural network architecture. We also propose a novel instance segmentation algorithm using the estimated density map, to identify the individual panicles in the presence of occlusion. With real Sorghum aerial images, we obtain a mean absolute error (MAE) of 1.06 for counting which is better than using well-known crowd counting approaches such as CCNN, MCNN and CSRNet models. The instance segmentation model also produces respectable results which will be ultimately useful in reducing the manual annotation workload for future data.

研究の動機と目的

• ソルゴー穂の手作業による形質計測が人的に負担で、誤差の多い育種のブottleneckを解消すること。
• 空中画像からのソルゴー穂の自動計数およびインスタンスセグメンテーションのためのスケーラブルで高スルーレットな手法を開発すること。
• アノテーションツールに統合可能な、ほぼ無料のインスタンスセグメンテーションを可能にすることで、手作業のアノテーション作業を軽減すること。
• 計数の単調性や温度依存的成長パターンといった事前知識をディーブラーニングモデルに組み込むこと。

提案手法

• 2段階のCNNアーキテクチャを採用：第1段階で穂ピクセルを検出し、第2段階で密度マップを推定して計数を行う。
• 密度マップはドットまたは領域のアノテーションから生成され、計数ネットワークの学習ターゲットとして機能する。
• 分散の最小化とターゲット値βへの密度マスの近接性を組み合わせた新規なクラスターフィットネス関数を提案し、穂スーパーピクセルのロバストなクラスタリングを実現する。
• グリーディーな下向き統合クラスタリングにより、フィットネスの向上に基づいてクラスタのペアを統合し、初期クラスタは個々の穂スーパーピクセルからなる。
• インスタンスセグメンテーションでは、推定された密度マップと検出された穂領域を入力として用い、オクルージョン下でも個々の穂を同定する。
• 正確なIoU計算とmAP評価のため、予測された穂と正解穂を一致させるためにハンガリアン法を適用する。

実験結果

リサーチクエスチョン

• RQ1 密度マップで学習されたディーブラーニングモデルは、空中ソルゴー画像における既存のクラウドカウンティング手法に比べ、優れた穂の計数性能を達成できるか？
• RQ2 部分的オクルージョンや密集状態にある穂の個々のセグメンテーションにおいて、オクルージョンに強いクラスタリングアプローチはどの程度有効か？
• RQ3 予測されたインスタンスセグメンテーションは、将来のデータ収集パイプラインにおいて、手作業アノテーションの必要性をどの程度低減できるか？
• RQ4 単調性や温度依存性といった事前知識制約は、計数モデルのロバスト性と正確性をどの程度向上させるか？

主な発見

• 提案された計数モデルは平均絶対誤差（MAE）1.06を達成し、CSRNet（MAE 1.19）や他の最先端のクラウドカウンティングモデルを上回った。
• インスタンスセグメンテーションモデルは、IoU閾値0.5における平均平均精度（mAP）0.66を達成し、複雑でオクルージョンの多い穂のシーンにおいても優れた性能を示した。
• 単調性や温度依存性といった事前知識の統合により、多様な生育段階にわたるモデルの一般化性能と安定性が向上した。
• クラスタリングベースのセグメンテーション手法は計算効率が高く、リアルタイムGUI統合にも対応可能であり、アノテーションワークフローへの再利用が可能である。
• ほぼ無料のインスタンスセグメンテーションを可能にすることで、手作業のアノテーション負荷が顕著に軽減され、反復的な精練が可能になった。
• 公開済みのソルゴー画像を用いた実験により、深層学習ベースの計数手法（本研究で提案したモデルを含む）が、ほとんどの場合で非深層学習ベースラインを上回ることが確認された。