[論文レビュー] Tree Morphology for Phenotyping from Semantics-Based Mapping in Orchard Environments

Wenbo Dong, Volkan Isler|arXiv (Cornell University)|Apr 16, 2018

Remote Sensing and LiDAR Applications参考文献 27被引用数 6

ひとこと要約

本論文では、RGB-Dカメラのみを用いて、果樹園環境における木の形態（高さ、冠積雪量、幹径）を正確に推定する視覚ベースのシステムを提示する。両側の木列からの3次元再構成を、意味的事前知識（幹および地面平面）を統合することで行い、頑健なフィッティングと意味的SfMを適用することで、高精度な推定を達成した。平均誤差は高さが4 cm、幹径が0.49 cmにとどまった。

ABSTRACT

Measuring tree morphology for phenotyping is an essential but labor-intensive activity in horticulture. Researchers often rely on manual measurements which may not be accurate for example when measuring tree volume. Recent approaches on automating the measurement process rely on LIDAR measurements coupled with high-accuracy GPS. Usually each side of a row is reconstructed independently and then merged using GPS information. Such approaches have two disadvantages: (1) they rely on specialized and expensive equipment, and (2) since the reconstruction process does not simultaneously use information from both sides, side reconstructions may not be accurate. We also show that standard loop closure methods do not necessarily align tree trunks well. In this paper, we present a novel vision system that employs only an RGB-D camera to estimate morphological parameters. A semantics-based mapping algorithm merges the two-sides 3D models of tree rows, where integrated semantic information is obtained and refined by robust fitting algorithms. We focus on measuring tree height, canopy volume and trunk diameter from the optimized 3D model. Experiments conducted in real orchards quantitatively demonstrate the accuracy of our method.

研究の動機と目的

• LiDARベースの木の形態推定には、高価なセンサーや両側スキャンのマッピングに起因するずれといった限界があるため、それらを解消すること。
• 低コストで視覚のみに依存するソリューションを提供し、実際の果樹園環境において3次元再構成と形態パラメータ推定を正確に行うこと。
• 長距離のRGB-D動画シーケンスにおけるポーズドリフトやずれを、意味的事前知識（幹および地面平面）を再構成パイプラインに統合することで是正すること。
• GPSや専用ハードウェアに依存せずに、自動的かつ正確に木の高さ、冠積雪量、幹径を測定できること。
• 精密農業における形態計測のための現在のLiDAR-GNSSシステムに対するスケーラブルで安価な代替手段を提供すること。

提案手法

• 本システムは、果樹園の木列の両側から3次元データを取得するために、棒状または移動式プラットフォームに取り付けたRGB-Dカメラを用いる。
• 意味的注意を備えたSfMを用いて各側の3次元再構成を別々に実行し、初期の幹径および局所的地面平面を推定するための頑健なフィッティングを実施する。
• 意味的事前知識（具体的には幹領域および平面的地面パッチ）を用いて、2方向の3次元モデルを統合し、グローバルで最適化された再構成を生成する。
• 幹径および地面平面の推定値をSfMフレームワークに統合することで、局所化精度を向上させ、ドリフトを低減する。
• 最適化されたアルファ半径（0.8 m）を用いたアルファシェイプセグメンテーションにより、冠積雪量を計算する。これにより、穴の発生を回避し、過大評価を最小限に抑える。
• 洗練された統合済み3次元モデル上で、自動セグメンテーションと幾何的フィッティングを実施し、木の高さおよび径を推定する。

実験結果

リサーチクエスチョン

• RQ1 RGB-Dカメラのみを用いた視覚ベースのシステムが、実際の果樹園環境において正確な木の形態推定を達成できるか？
• RQ2 意味的事前知識（幹および地面）をどのように効果的に活用することで、1台のカメラ経路からの2方向の3次元再構成を統合・マッピングできるか？
• RQ3 本手法を用いた場合、木の高さ、冠積雪量、幹径の推定精度は、真値と比較してどの程度の水準に達するか？
• RQ4 頑健な幾何的フィッティングと意味的SfMを用いることで、テクスチャが乏しく風による動きが生じる屋外の果樹園シーンにおいて、ポーズドリフトを低減し、再構成品質を向上させられるか？
• RQ5 アルファ半径の選定が冠積雪量推定にどのように影響するか、そして正確さと現実性を最適化する最適な値は何か？

主な発見

• 14本の木を含むDataset-IIIにおいて、木の高さ推定で平均誤差4 cmを達成し、実環境下でも高い精度を示した。
• 14本の木を含むDataset-IIにおいて、幹径推定の平均誤差は0.49 cmであり、小径の幹に対しても優れた性能を示した。
• 標準的なSfMやSLAM手法と比較して、特にテクスチャが乏しく風による動きが生じる果樹園環境下でも、ポーズ推定とモデルマッピングの精度が優れていた。
• 最適化された半径0.8 mを用いたアルファシェイプによる冠積雪量推定は、安定した穴のないモデルを生成し、単純な円筒モデルと比較して過大評価を回避した。
• SfMフレームワークに意味的事前知識（幹および地面）を統合することで、2方向の再構成の整合性が著しく向上し、ICPベースやループクロージャーのみに依存する手法で一般的に見られるずれの誤差が低減された。
• 本システムは、LiDARやGPSシステムを必要とせず、RGB-Dカメラのみで正確な木の形態推定を達成した最初の手法である。