[論文レビュー] Multi-Sensor Surface Analysis for Robotic Ironing

Yinxiao Li, Xiuhan Hu+4 more|arXiv (Cornell University)|Feb 16, 2016

Robotics and Sensor-Based Localization参考文献 20被引用数 4

ひとこと要約

本論文では、変形可能な布地表面の永久的しわを検出・分類するため、深度に基づく曲率スキャンと照度に基づく不連続性スキャンを融合する確率的マルチセンサーフレームワークを提示する。制御された照明下でのRGB画像とKinectベースの3次元スキャンを組み合わせることで、高曲率のしわを特定し、最適化されたアイロン操作経路を生成する。このシステムにより、Baxterロボットは反復的アイロン作業を用いて35秒未満でしわを効果的に除去できる。

ABSTRACT

Robotic manipulation of deformable objects remains a challenging task. One such task is to iron a piece of cloth autonomously. Given a roughly flattened cloth, the goal is to have an ironing plan that can iteratively apply a regular iron to remove all the major wrinkles by a robot. We present a novel solution to analyze the cloth surface by fusing two surface scan techniques: a curvature scan and a discontinuity scan. The curvature scan can estimate the height deviation of the cloth surface, while the discontinuity scan can effectively detect sharp surface features, such as wrinkles. We use this information to detect the regions that need to be pulled and extended before ironing, and the other regions where we want to detect wrinkles and apply ironing to remove the wrinkles. We demonstrate that our hybrid scan technique is able to capture and classify wrinkles over the surface robustly. Given detected wrinkles, we enable a robot to iron them using shape features. Experimental results show that using our wrinkle analysis algorithm, our robot is able to iron the cloth surface and effectively remove the wrinkles.

研究の動機と目的

• 家庭用ロボットの主要な障壁である変形性織物の自律的アイロンがけを解決する。
• 滑らかで展開可能な変形とは異なる、永久的しわを表面解析を用いて検出・分類する。
• 最小限の移動と最適なアライメントを実現するように、検出されたしわに基づいてロボットがアイロン動作を計画・実行できるようにする。
• 深度および照度のマルチセンサーデータを確率的フレームワークに統合し、頑健なしわ検出を実現する。
• 検出から実行に至る完全なアイロンパイプラインをBaxterロボット上で実証し、先行研究における衣類操作技術を上回る成果を示す。

提案手法

• Kinect深度センサが曲率スキャンを実行し、ヘッセ行列の計算と体積推定を用いて布地表面の高さのずれ（盛り上がり）を検出する。
• 2つの光源を用いて制御された照度を実現し、しわ周辺の表面勾配の変化を強調することで、不連続性を顕在化する。
• 手動でラベル付けされた不連続領域を用いてサポートベクターマシン（SVM）分類器を学習させ、鋭い表面特徴（永久的しわ）を検出する。
• 確率的マルチセンサーフュージョンモデルにより、曲率と不連続性の結果を統合し、変形を分類・順位付けし、取り除ける盛り上がりとアイロン可能なしわを区別する。
• 検出されたしわは線分として表現され、ロボットの移動量とアライメントのオーバーヘッドを最小限に抑える最適化されたアイロン経路に並べ替えられる。
• Baxterロボットは位置制御を用いてアイロン作業を実行し、各検出されたしわにアイロンを合わせ、経路計画に基づいて反復的アイロン作業を実行する。

実験結果

リサーチクエスチョン

• RQ1 変形性布地表面における永久的しわの堅牢な検出により、ロボットアイロンがけをどのように実現できるか？
• RQ2 正確なキャリブレーションを必要とせずに、滑らかな高さの盛り上がりと鋭い不連続性（しわ）をどのように正確に区別できるか？
• RQ3 検出されたしわをどのように表現・順序付けすれば、ロボットの移動量を最小限に抑え、アイロン効率を向上できるか？
• RQ4 位置制御ロボットが、表面解析と経路計画に依存するだけで、どの程度効果的にしわを除去できるか？
• RQ5 深度と照度に基づくスキャンを組み合わせたハイブリッドアプローチが、単一センサ法に比べ、微細で高曲率のしわを検出する上で優れているとまでは言えるか？

主な発見

• ハイブリッドな曲率および不連続性スキャン手法は、標準のKinectセンサからの低解像度深度データでも、永久的しわを高い頑健性で検出できた。
• 深度ベースの盛り上がり検出と照度ベースの不連続性スキャンの統合により、滑らかな変形からの誤検出を低減し、しわの正確な分類が可能になった。
• 確率的マルチセンサーモデルの使用により検出の信頼性が向上し、取り除ける盛り上がりとアイロン可能なしわを区別できるようになった。
• 最適化されたアイロン経路により、複数のしわを含む衣類のアイロン作業総時間を約35秒に短縮でき、非最適化またはランダムな経路に比べ優れた性能を示した。
• 実験結果から、Baxterロボットが検出されたしわを反復的にアイロン処理し、目に見えるしわのない表面を生成できることを確認し、表面解析パイプラインの有効性が裏付けられた。