[論文レビュー] Manipulating Highly Deformable Materials Using a Visual Feedback Dictionary

Biao Jia, Zhe Hu+2 more|arXiv (Cornell University)|Oct 18, 2017

Advanced Vision and Imaging参考文献 35被引用数 3

ひとこと要約

本稿では、RGBビデオから抽出した新しい勾配方向のしわのヒストグラム（HOW）特徴表現を基に、布地のような高ばく度材料を操作するための視覚フィードバック辞書手法を提案する。HOW特徴と事前に計算された視覚フィードバック辞書上のスパース線形表現を組み合わせることで、複雑なタスク、特に人間-ロボット協働を含むリアルタイムで頑健な制御が可能となり、HOG+HOW特徴を用いた折りたたみタスクで94.53%の成功率を達成した。

ABSTRACT

The complex physical properties of highly deformable materials such as clothes pose significant challenges fanipulation systems. We present a novel visual feedback dictionary-based method for manipulating defoor autonomous robotic mrmable objects towards a desired configuration. Our approach is based on visual servoing and we use an efficient technique to extract key features from the RGB sensor stream in the form of a histogram of deformable model features. These histogram features serve as high-level representations of the state of the deformable material. Next, we collect manipulation data and use a visual feedback dictionary that maps the velocity in the high-dimensional feature space to the velocity of the robotic end-effectors for manipulation. We have evaluated our approach on a set of complex manipulation tasks and human-robot manipulation tasks on different cloth pieces with varying material characteristics.

研究の動機と目的

• 布地のような高次元の配置空間を有し、摂動に敏感な高ばく度材料の操作という課題に対処すること。
• 広範なトレーニングデータやフィクスチャルマーカーに依存しない、頑健でリアルタイムな視覚サーボ制御手法の開発。
• 動的で予測不能な条件下での人間-ロボット協働による変形性オブジェクトの操作を可能にすること。
• スパース表現を用いて、視覚特徴からロボットエンドエフェクタ速度へのコンactで効率的なマッピングを構築すること。

提案手法

• Gaborフィルタを用いてRGBビデオストリームから高周波成分および低周波成分を抽出することで、RGBビデオストリームから新しい勾配方向のしわのヒストグラム（HOW）特徴表現を計算する。
• 事前計算された視覚フィードバック辞書を構築するためのオフライントレーニングフェーズを採用し、サンプリングとクラスタリングを用いて視覚特徴（HOW特徴）をエンドエフェクタ速度にマッピングする。
• スパース線形表現（ベースス・プロージョン・デノイジング）を用いて、視覚フィードバック辞書からリアルタイムの制御速度を計算し、データ適合性とスパarsityのバランスをとる。
• HOGと色ヒストグラムをHOW特徴と融合することで特徴表現を強化し、融合が性能向上に寄与することが示された。
• 12-DOFのABB YuMi二重アームロボットとRGBカメラを統合し、複雑な操作タスクにおけるリアルタイム実行を実現した。
• タスク固有のデモに基づいて目標配置を定義し、視覚フィードバックを用いてロボットを望ましい状態に誘導する。

実験結果

リサーチクエスチョン

• RQ1 ヒストグラム特徴に基づく学習済みの視覚フィードバック辞書は、高ばく度材料の操作において正確かつリアルタイムの制御を可能にするか？
• RQ2 提案された勾配方向のしわのヒストグラム（HOW）特徴は、大きな変形下における布地の形状変化や変形をどれほど効果的に捉えられるか？
• RQ3 視覚フィードバック辞書上でのスパース表現は、動的で変動する操作タスクにおける制御精度と頑健性をどの程度向上させるか？
• RQ4 人間の相互作用による外部摂動が生じる人間-ロボット協働操作を、本システムは処理できるか？

主な発見

• HOG+HOW特徴の組み合わせがベンチマーク4で最高の94.53%の成功率を達成し、個々の特徴や他の組み合わせを上回った。
• HOW特徴単体でもベンチマーク4で92.21%の成功率を達成し、布地の変形やしわを効果的に捉えられることを示した。
• スパース表現を用いた視覚フィードバック辞書は速度誤差を低減し、ある辞書サイズを超えると性能が飽和する傾向を示しており、冗長性があることが示された。
• スパース表現におけるスラック変数αは、データ適合性とスパarsityのトレードオフを制御し、最適な値が収束性を向上させ、誤差を低減することがわかった。
• 本システムは、二重アームロボットを用いたリアルタイムの操作を、伸ばし、折りたたみ、配置タスク、人間-ロボット協働を含めて成功裏に実行した。
• フィクスチャルマーカーや広範なトレーニングデータを必要とせず、視覚特徴と事前に計算された辞書に依存することで、高い性能を達成した。