[論文レビュー] In-Hand Gravitational Pivoting Using Tactile Sensing

Jason Toskov, R. Newbury+3 more|arXiv (Cornell University)|Oct 11, 2022

Tactile and Sensory Interactions被引用数 4

ひとこと要約

本論文では、力覚ベースのタクトイルセンサからのデータを用いて、RSE-LSTMモデルを用いて物体の角度位置と速度を推定する、視覚や事前物体知識に依存しないタクトイルオンリーなインハンド重力ピボット手法を提案する。この手法により、平行ジョイントが視覚や事前知識なしにターゲット角度に物体を回転可能となり、ファインチューニングにより16.6%の性能向上を達成し、未学習の家庭用物体においてベースラインのMLPを上回るゼロショット一般化性能を示した。

ABSTRACT

We study gravitational pivoting, a constrained version of in-hand manipulation, where we aim to control the rotation of an object around the grip point of a parallel gripper. To achieve this, instead of controlling the gripper to avoid slip, we embrace slip to allow the object to rotate in-hand. We collect two real-world datasets, a static tracking dataset and a controller-in-the loop dataset, both annotated with object angle and angular velocity labels. Both datasets contain force-based tactile information on ten different household objects. We train an LSTM model to predict the angular position and velocity of the held object from purely tactile data. We integrate this model with a controller that opens and closes the gripper allowing the object to rotate to desired relative angles. We conduct real-world experiments where the robot is tasked to achieve a relative target angle. We show that our approach outperforms a sliding-window based MLP in a zero-shot generalization setting with unseen objects. Furthermore, we show a 16.6% improvement in performance when the LSTM model is fine-tuned on a small set of data collected with both the LSTM model and the controller in-the-loop. Code and videos are available at https://rhys-newbury.github.io/projects/pivoting/

研究の動機と目的

• 視覚や物体固有のモデルに依存せずに、タクトイルフィードバックのみを用いて頑健なインハンド物体再配置を実現すること。
• スリップを制御メカニズムとして用いる重力ピボティング中に、物体の角度位置と速度を追跡する課題に対処すること。
• 物体の質量、形状、摩擦に関する事前知識が不要な汎用的なジョイントコントローラーを開発すること。
• 重力ピボティングタスクを実行するための10種類の家庭用物体を含む実世界のタクトイルデータセットを収集すること。
• 実世界の実験において、未学習の物体に対するゼロショット一般化性能とファインチューニング性能を評価すること。

提案手法

• RSE-LSTMニューラルネットワークを訓練し、ピボティング中に収集した力覚ベースのタクトイルセンサデータから、物体の角度位置と速度を予測する。
• ジョイントコントローラーは、RSE-LSTMの予測に基づいてグリップ幅を調整し、ターゲット角度に向かって重力ピボティングを誘導する。
• 2段階のデータ収集プロトコルを用いる：静的トラッキングデータセットとコントローラー・イン・ザ・ループデータセットの両方を、角度位置と速度でアノテーションする。
• システムは前方予測を用いてジョイントが閉じる0.83秒の遅延を補償し、速度推定に基づいて停止条件を調整する。
• RSE-LSTMモデルとコントローラーをループ内に配置して収集したデータを用いてファインチューニングを実施し、実世界での性能を向上させる。
• 比較のため、同じタクトイル入力で訓練されたスライディングウインドウMLPベースラインを用いることで、一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 重力ピボティング中に、タクトイルセンシングのみで物体の角度位置と速度を正確に推定できるか？
• RQ2 視覚や物体事前知識なしに、タクトイルフィードバックのみを用いたジョイントコントローラーがターゲット角度への再配置を達成できるか？
• RQ3 RSE-LSTMモデルは、実世界環境における未学習の物体に対して、ベースラインのMLPと比較してどの程度一般化できるか？
• RQ4 ループ内データを用いたファインチューニングが、未学習の物体におけるコントローラー性能をどの程度向上させるか？
• RQ5 特に制御遅延や速度推定誤差に起因する、タクトイルベースピボティングにおける主な失敗モードと性能ボトルネックは何か？

主な発見

• RSE-LSTMモデルは、未学習の物体に対するゼロショット一般化性能でMLPベースラインを上回り、優れた一般化能力を示した。
• RSE-LSTMモデルをループ内データでファインチューニングした結果、非ファインチューニングバージョンと比較して16.6%の性能向上が達成され、ターゲット誤差は15.2°から12.67°に低下した。
• LSTMモデルは実世界実験で3.3%の失敗率を示し、MLPの6.7%と比較して顕著に低かった。
• オラクルコントローラー（真値の視覚フィードバックを使用）はターゲット誤差3.95°を達成し、上限性能として機能したが、最良のRSE-LSTMモデルは12.67°を達成した。
• 実世界テストでは、オーバーシュートやグリッパーの完全な閉鎖が不十分な未モデル化されたダイナミクスの影響により、テストセットよりも高いトラッキング誤差が観測された。
• 特定の物体では性能低下が観測され、質量や表面摩擦などの物体固有の特性に感受することが示唆された。これにより、より広範なデータ収集の必要性が浮き彫りになった。