[論文レビュー] Vision-based Manipulation of Deformable and Rigid Objects Using Subspace Projections of 2D Contours

Jihong Zhu, David Navarro-Alarcón+2 more|arXiv (Cornell University)|Jun 16, 2020

Advanced Vision and Imaging参考文献 36被引用数 4

ひとこと要約

本稿では、2次元画像の輪郭の部分空間射影を用いて、剛体および変形性オブジェクトの統合的取り扱いを実現するモデルフリーでビジョンベースのフレームワークを提示する。このフレームワークは、生の画像データからオンラインで視覚的特徴量と相互作用行列を自動的に学習し、カメラキャリブレーションやオブジェクトの物理的性質に関する事前知識、または広範なトレーニングを必要とせず、リアルタイム制御を可能にする。自由空間および接触ベースの設定の両方でスポンジを用いた「動かし・形を変える」タスクを成功裏に実装した。

ABSTRACT

This paper proposes a unified vision-based manipulation framework using image contours of deformable/rigid objects. Instead of using human-defined cues, the robot automatically learns the features from processed vision data. Our method simultaneously generates -- from the same data -- both, visual features and the interaction matrix that relates them to the robot control inputs. Extraction of the feature vector and control commands is done online and adaptively, with little data for initialization. The method allows the robot to manipulate an object without knowing whether it is rigid or deformable. To validate our approach, we conduct numerical simulations and experiments with both deformable and rigid objects.

研究の動機と目的

• オブジェクトの力学的性質に関する事前仮定を一切設けずに、剛体および変形性オブジェクトの両方の取り扱いを可能にする統合的ビジョンベース制御フレームワークの開発。
• 手動による特徴量定義や物理的モデル化を回避し、画像データから直接視覚的特徴量と相互作用モデルを学習すること。
• 最小限の初期化データで十分な状況下で、オンラインかつ適応的な特徴抽出と制御入力生成を可能にする。
• シミュレーションおよび実世界の実験を通じて、移動および形状変形を含むオブジェクト操作タスクへのフレームワークの妥当性を検証すること。
• 接触ベースの変形を伴う操作タスクにおいて、初期の不一致や誤った輪郭などの視覚的ノイズに対して、どの程度の耐性を示すかを評価すること。

提案手法

• 主成分分析（PCA）を用いて、2次元オブジェクトの輪郭を低次元部分空間に射影し、画像データからコンactな視覚的特徴ベクトルを抽出する。
• 光度モーメントと部分空間射影を用いた直接的ビジョンサーボ方式を定式化し、明示的な特徴量パrameter化を回避する。
• 視覚的特徴量とロボットの制御入力との間の相互作用行列を、同時に得られる視覚データと操作データからオンラインで学習し、リアルタイムでの適応を可能にする。
• カメラのキャリブレーションやカメラポーズ、オブジェクトのサイズや形状に関する知識を一切不要とし、画像の輝度および輪郭データのみに依存する。
• 収束評価に部分空間ベースの誤差指標（ASE）を用い、収束のためのしきい値として ASE = 1 を設定する。
• 数値シミュレーションおよび実験を通じて、スポンジを剛体（自由空間）および変形性（接触ベース）オブジェクトとして用いた検証を実施した。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトの性質に関する事前知識なしに、剛体および変形性オブジェクトの両方の取り扱いを可能にする統合的ビジョンベース制御フレームワークを開発可能か？
• RQ2 明示的な特徴量設計を伴わず、生の画像データから視覚的特徴量と相互作用モデルを同時にオンラインで学習する方法は何か？
• RQ3 フレームワークは、カメラキャリブレーションやカメラポーズの知識なしに、どの程度の範囲で動作可能か？
• RQ4 移動と変形を併せ持つ「動かし・形を変える」タスクを、システムが成功裏に実行可能か？
• RQ5 接触ベースの操作において、視覚的ノイズ（例：誤った輪郭）や初期の不一致に対して、この手法はどの程度の耐性を示すか？

主な発見

• スポンジを用いた実験では、自由空間での操作から接触ベースの形状変形への移行が成功裏に実現され、両方の実験で目標輪郭への収束が達成された。
• 図21に示すように、初期接触が不一致であっても、ASEがしきい値1未満で収束する。
• カメラキャリブレーションやオブジェクトのサイズ・形状・剛性に関する事前知識なしに動作し、さまざまな初期条件に対しても耐性を示した。
• 画像データ内の誤った輪郭はASE指標にノイズをもたらすが、システムは依然として許容可能な最終的配置を達成しており、視覚的アーチファクトに対して耐性があることが示された。
• モデルフリーであり、初期化データが最小限で十分であるため、操作中に迅速なオンライン適応が可能である。
• シミュレーションおよび実世界の両方の実験で妥当性が確認され、異なるオブジェクトタイプや制御シナリオにおいて、実用性と耐性の両立が示された。