[論文レビュー] Attention-driven Next-best-view Planning for Efficient Reconstruction of Plants and Targeted Plant Parts

Akshay K. Burusa, E.J. van Henten+1 more|arXiv (Cornell University)|Jun 21, 2022

Smart Agriculture and AI被引用数 11

ひとこと要約

本論文は、トマト植物のロボット3次元再構成を目的とした、タスク固有の注目メカニズムを用いた注目駆動型次善視点（NBV）計画アルゴリズムを提案する。注目領域を特定することで、葉の節、主茎、または全体の植物といった関連する植物部品を優先的に処理し、再構成精度を最大25.9%向上させるとともに、事前に定義された戦略やランダム戦略と比較して視点数を最大3視点削減する。特に細分化されたターゲットに対して顕著な効果を示す。

ABSTRACT

Robots in tomato greenhouses need to perceive the plant and plant parts accurately to automate monitoring, harvesting, and de-leafing tasks. Existing perception systems struggle with the high levels of occlusion in plants and often result in poor perception accuracy. One reason for this is because they use fixed cameras or predefined camera movements. Next-best-view (NBV) planning presents an alternate approach, in which the camera viewpoints are reasoned and strategically planned such that the perception accuracy is improved. However, existing NBV-planning algorithms are agnostic to the task-at-hand and give equal importance to all the plant parts. This strategy is inefficient for greenhouse tasks that require targeted perception of specific plant parts, such as the perception of leaf nodes for de-leafing. To improve targeted perception in complex greenhouse environments, NBV planning algorithms need an attention mechanism to focus on the task-relevant plant parts. In this paper, the role of attention in improving targeted perception using an attention-driven NBV planning strategy was investigated. Through simulation experiments using plants with high levels of occlusion and structural complexity, it was shown that focusing attention on task-relevant plant parts can significantly improve the speed and accuracy of 3D reconstruction. Further, with real-world experiments, it was shown that these benefits extend to complex greenhouse conditions with natural variation and occlusion, natural illumination, sensor noise, and uncertainty in camera poses. The results clearly indicate that using attention-driven NBV planning in greenhouses can significantly improve the efficiency of perception and enhance the performance of robotic systems in greenhouse crop production.

研究の動機と目的

• 植物が自然な変異を示し、部分的にしか見えないような、重度に遮蔽され、変動が激しい温室環境において、3次元再構成が非効率であるという課題に対処すること。
• タスク固有の注目メカニズムを統合することで、アクティブビジョン計画を改善し、ロボットが関連する植物部品（例：葉の節、主茎）を無関係な領域よりも優先して処理できるようにすること。
• 特定の知覚目的（例：葉の節の再構成）を最大化するため、情報量の増加を極大化しつつ、必要な視点数を削減すること。
• 植物モデルの変動、遮蔽度、視点候補集合、再構成解像度の変化に対するロバストネスを評価すること。
• 注目メカニズムが、複雑な農業食品ロボット環境における高品質な知覚を実現するために不可欠であることを示すこと。

提案手法

• 本手法は、再構成された植物構造と不確実性を表現するため、リアルタイムの3次元確率的占有マップを採用する。
• タスクに応じて、全体の植物、主茎、葉の節など、注目領域（RoI）を定義するための注目メカニズムを用いる。
• 候補視点の集合から、注目領域内での不確実性の予想される低減（情報量の増加）を最大にする次善の視点を選択する。
• 注目メカニズムは、ターゲット領域内の不確実性低減に寄与する期待値に基づき、視点を動的に重み付けすることで、関連性と効率性を向上させる。
• シミュレーテッド温室環境で、制御された遮蔽と変動を伴う合成トマト植物モデルを用いて、プランナーを評価する。
• 性能は、同一の条件下および同一の指標で、事前定義済みおよびランダムなNBV計画戦略とベンチマーク比較される。

実験結果

リサーチクエスチョン

• RQ1 注目駆動型NBVプランナーは、注目なし戦略と比較して、葉の節のような特定の植物部品の3次元再構成精度を顕著に向上させることができるか？
• RQ2 注目ベースの計画は、主茎や葉の節のような特定の植物構造を再構成するための必要な視点数を削減するか？
• RQ3 植物形態の変動、遮蔽度、視点候補集合の変化に対して、注目駆動型NBVプランナーはどれほどロバストか？
• RQ4 注目メカニズムの性能向上は、タスクに応じた適切な注目領域（RoI）の指定に依存するか？
• RQ5 注目メカニズムは、異なる再構成解像度および環境条件においても高い性能を維持できるか？

主な発見

• 注目駆動型NBVプランナーは、3視点後にランダム計画法と比較して葉の節の再構成精度を25.9%向上させ、事前定義戦略と比較して14.2%の向上を達成した。
• 葉の節の再構成において、注目駆動型プランナーは、ランダムおよび事前定義プランナーと比較して、ターゲット構造の80%を再構成するのに3視点少ない必要があった。
• 全体の植物の80%を再構成するのに必要な視点数は、両方のベースライン戦略と比較して、注目駆動型手法で1視点削減された。
• 注目メカニズムは、遮蔽や複雑さが最も高い細分化されたターゲット（例：葉の節）において、性能向上を顕著に示した。
• 植物モデル、遮蔽度、候補視点数、再構成解像度の変化といった多様な条件下でも、プランナーは強固な性能を維持した。
• 正しい注目領域（例：葉の節の再構成には葉の節）を指定することが不可欠であった。全体の植物に注目すると、細分化されたターゲットでは著しく劣った結果が得られた。