[論文レビュー] Estimating Phenotypic Traits From UAV Based RGB Imagery

Javier Ribera, Fangning He+3 more|arXiv (Cornell University)|Jul 2, 2018

Remote Sensing in Agriculture参考文献 17被引用数 15

ひとこと要約

本稿では、低価格の一般消費者用ドローンを用いたRGB画像処理パイプラインを提案し、サトウキビの葉総数、葉面積、生育位置などの形態的特徴を推定する。カメラキャリブレーション、構造から姿勢を求める（SfM）、および新規の三角測量に基づく正射影モザイク生成を組み合わせることで、歪み補正済み画像からの正確で非破壊的な形態的特徴推定を実現し、RMSEが0.03–0.04 mの位置推定精度を達成した。

ABSTRACT

In many agricultural applications one wants to characterize physical properties of plants and use the measurements to predict, for example biomass and environmental influence. This process is known as phenotyping. Traditional collection of phenotypic information is labor-intensive and time-consuming. Use of imagery is becoming popular for phenotyping. In this paper, we present methods to estimate traits of sorghum plants from RBG cameras on board of an unmanned aerial vehicle (UAV). The position and orientation of the imagery together with the coordinates of sparse points along the area of interest are derived through a new triangulation method. A rectified orthophoto mosaic is then generated from the imagery. The number of leaves is estimated and a model-based method to analyze the leaf morphology for leaf segmentation is proposed. We present a statistical model to find the location of each individual sorghum plant.

研究の動機と目的

• 屋外農業畑における植物の形態的特徴を推定する低コストで非破壊的な手法の開発。
• 広角UAV RGBカメラに生じる空間的歪みに対処するため、高度なカメラキャリブレーションと三角測量を用いる。
• UAV画像から正射影モザイクを生成し、正確な形態的特徴推定を可能にする。
• 色ベースのセグメンテーションと統計的モデリングを用いて、現実の畑環境下での植物および葉の検出精度を向上させる。
• 一般消費者用UAVとRGBカメラを用いたスケーラブルで自動化された形態的特徴推定の実現。

提案手法

• 広角レンズに生じる径方向およびデシントラリティ歪みを補正するため、USGS SMAC歪みモデルを用いたカメラキャリブレーション。
• UAV飛行軌道の事前知識を組み込んだ構造から姿勢を求める（SfM）手法により、外方位パラメータ（EOP）を推定し、スパarsな3次元点群を生成。
• スパース点の3次元座標を計算し、EOPを精緻化するための新規な三角測量手法を提案し、幾何的精度を向上。
• キャリブレーション済みカメラパラメータ、EOP、および3次元点群を用いて、歪みなしで地理的に参照された画像を生成するための正射影変換によるモザイク生成。
• 透視変換、歪み補正済み、および正射影変換済み画像に対して、HSVしきい値処理（τ₁=30, τ₂=79, τ₃=30, τ₄=163）を用いた色ベースの葉セグメンテーション。
• 非凸コスト関数を用いた反復最適化による統計的植物位置特定モデルを構築し、モザイク上での植物位置を推定。

実験結果

リサーチクエスチョン

• RQ1 低コストのUAV搭載RGBカメラは、屋外畑環境下でも正確な形態的特徴推定を可能にするか？
• RQ2 広角カメラに生じる深刻なレンズ歪みは、形態的分析のための効果的な補正が可能か？
• RQ3 歪み補正済み画像や生画像と比較して、正射影モザイク生成が葉および植物検出精度をどの程度向上させるか？
• RQ4 葉密度と空間的分布に基づく統計モデルは、畑内での個々の植物位置を信頼性高く推定できるか？
• RQ5 UAV飛行軌道データの統合は、3次元再構築および画像正射影変換の耐障害性をどの程度向上させるか？

主な発見

• 提案手法は、3次元点の位置推定において、X方向でRMSE 0.03 m、Y方向で0.03 m、Z方向で0.04 mを達成し、高い幾何的精度を示した。
• 正射影モザイク上での色ベースセグメンテーションにより、明確な視覚的結果が得られ、局所的な葉密度を示すヒートマップが作成され、信頼性の高い葉数数え上げが可能になった。
• 非凸コスト関数を最小化する統計的植物位置特定モデルは、テスト領域において最小値が地面真値に非常に近い結果を示し、植物位置の推定に成功した。
• UAV RGB画像から生成された正射影モザイクにより、手動による介入を最小限に抑えつつ、葉数や葉面積を含む正確な形態的特徴推定が可能になった。
• 本手法は、垂直方向からのずれや高さ仮定のずれに対しても耐性を示し、固定翼機およびマルチコプターUAVのデータセットにおいて特に顕著であった。
• HSVベースのセグメンテーションに用いた実験的しきい値（τ₁=30, τ₂=79, τ₃=30, τ₄=163）は有効であったが、生育段階や照明条件に応じて変動し、再チューニングが必要であった。