[論文レビュー] 3D Move to See: Multi-perspective visual servoing for improving object views with semantic segmentation

Chris Lehnert, Dorian Tsai+2 more|arXiv (Cornell University)|Sep 21, 2018

Advanced Vision and Imaging参考文献 16被引用数 7

ひとこと要約

本論文では、3Dカメラアレイとセマンティックセグメンテーションを用いて、遮蔽された物体のための次なる最良の視点を動的に特定する、視覚サーボ方式である3D Move to See (3DMTS)を提案する。複数の視点における勾配ベースの目的関数を計算することで、ロボットアームは局所最適な視点へと移動し、標的オブジェクトのサイズを平均29.3%向上させる。これは単一のRGB-Dカメラベースラインと比較して3倍優れている。この向上により、把持や収穫などの後続タスクにおける可視性が向上する。

ABSTRACT

In this paper, we present a new approach to visual servoing for robotics, referred to as 3D Move to See (3DMTS), based on the principle of finding the next best view using a 3D camera array and a robotic manipulator to obtain multiple samples of the scene from different perspectives. The method uses semantic vision and an objective function applied to each perspective to sample a gradient representing the direction of the next best view. The method is demonstrated within simulation and on a real robotic platform containing a custom 3D camera array for the challenging scenario of robotic harvesting in a highly occluded and unstructured environment. It was shown on a real robotic platform that by moving the end effector using the gradient of an objective function leads to a locally optimal view of the object of interest, even amongst occlusions. The overall performance of the 3DMTS method obtained a mean increase in target size by 29.3% compared to a baseline method using a single RGB-D camera, which obtained 9.17%. The results demonstrate qualitatively and quantitatively that the 3DMTS method performed better in most scenarios, and yielded three times the target size compared to the baseline method. The increased target size in the final view will improve the detection of key features of the object of interest for further manipulation, such as grasping and harvesting.

研究の動機と目的

• 従来のテンプレートが不明であるため、視覚サーボが失敗するような、構造のない遮蔽環境における最適な視点角度の特定という課題に対処すること。
• リアルタイムのマルチパースペクティブセンシングを用いて、遮蔽物の周囲を自律的にナビゲートし、次なる最良の視点を動的に選択できるようにすること。
• 把持や収穫などの後続の操作タスクにおける可視性を向上させるために、標的オブジェクトの可視領域を最大化すること。
• 事前に定義された画像テンプレート（$I_t$）を必要としない方法を開発し、農業収穫のような自然で多様な環境に適したものとすること。
• シミュレーションおよび実際のロボットプラットフォーム（独自の3Dカメラアレイ搭載）を用いて、複雑な現実世界のシナリオにおいても頑健であることを実証すること。

提案手法

• 本手法は、9台のPiカメラと10台のPi Zeroモジュールを用いた3Dカメラアレイを採用し、複数の同時視点を取得することで、リアルタイムのマルチビュー採番を可能にする。
• セマンティックセグメンテーションを用いて、各カメラ視点で関心オブジェクト（例：パプリカ）を特定し、標的領域のピクセル単位のマスクを提供することで、定量的評価を可能にする。
• 各カメラ視点に対して、セグメンテーションされた標的の可視領域に基づいて目的関数を計算し、その視点の質を示すスコアとする。
• カメラアレイ全体における目的関数の勾配を計算し、標的の可視性を最大化する方向の運動を特定し、視覚サーボを介してロボットエンドエフェクタを制御する。
• キネマティクス制約および作業空間制約を尊重しながら、勾配方向にロボットを移動させ、停止条件を満たすまで反復的に視点を改善する。
• 本手法はフィードバックループで動作する：各移動後に新たなマルチパースペクティブ画像が取得され、目的関数が再計算され、次の移動が決定される。

実験結果

リサーチクエスチョン

• RQ1 マルチパースペクティブ3Dカメラアレイを用いることで、既知の画像テンプレート（$I_t$）を必要とせず、リアルタイムで勾配ベースの視覚サーボを実現できるか？
• RQ2 提案手法3DMTSは、農業畑のような高度に遮蔽され、構造のない環境において、オブジェクトの可視性をどの程度向上できるか？
• RQ3 従来の特徴ベース手法と比較して、セマンティックセグメンテーションを用いることで、次なる最良の視点選択の頑健性と正確性はどの程度向上するか？
• RQ4 3DMTSの性能は、単一のRGB-Dカメラベースラインと比較して、標的サイズの増加と視点品質の観点でどの程度優れているか？
• RQ5 困難な初期位置からでも、遮蔽物の周囲を信頼性高くナビゲートし、局所最適な視点に収束できるか？

主な発見

• 3DMTS手法は、すべての遮蔽シナリオにおいて、標的オブジェクトのサイズを平均29.3%向上させ、ベースライン手法を著しく上回った。
• 単一のRGB-Dカメラを用いたベースライン手法は、標的オブジェクトのサイズを平均9.17%しか向上させず、マルチパースペクティブセンシングが性能向上に不可欠であることが示された。
• 数例を除き、3DMTS手法は標的オブジェクトをより中央に、かつ包括的に捉えた視点を生成しており、図10の視覚的比較で確認された。
• 実世界の試行において、本手法は遮蔽物の周囲を正常にナビゲートし、複数の初期設定から標的へとロボットの軌道が収束した。図9に示す。
• 勾配ベースのサンプリングにより、セマンティック予測の一時的な不正確さをなめらかに補正できるため、セグメンテーション誤差に対しても頑健であることが示された。
• 3DMTSが生成した最終的な視点は、標的オブジェクトの重要な特徴をより大きく可視化しており、収穫などの操作タスクにおいて顕著に有用であった。