[論文レビュー] Tactile-RL for Insertion: Generalization to Objects of Unknown Geometry

Siyuan Dong, Devesh K. Jha+4 more|arXiv (Cornell University)|Apr 2, 2021

Robot Manipulation and Learning参考文献 20被引用数 7

ひとこと要約

本論文では、未知の幾何形状を持つ物体に対して一般化するタクトル強化学習（RL）ポリシーを、ロボットのピンインホール挿入タスクに提案する。カリキュラム学習とタクトルフロー表現を用いることで、4つの新しい物体に対して3–4回の試行で85%以上の成功率を達成し、教師あり学習、F/Tセンシングに基づくポリシー、RGBベースのタクトル入力よりも一般化性能に優れる。

ABSTRACT

Object insertion is a classic contact-rich manipulation task. The task remains challenging, especially when considering general objects of unknown geometry, which significantly limits the ability to understand the contact configuration between the object and the environment. We study the problem of aligning the object and environment with a tactile-based feedback insertion policy. The insertion process is modeled as an episodic policy that iterates between insertion attempts followed by pose corrections. We explore different mechanisms to learn such a policy based on Reinforcement Learning. The key contribution of this paper is to demonstrate that it is possible to learn a tactile insertion policy that generalizes across different object geometries, and an ablation study of the key design choices for the learning agent: 1) the type of learning scheme: supervised vs. reinforcement learning; 2) the type of learning schedule: unguided vs. curriculum learning; 3) the type of sensing modality: force/torque (F/T) vs. tactile; and 4) the type of tactile representation: tactile RGB vs. tactile flow. We show that the optimal configuration of the learning agent (RL + curriculum + tactile flow) exposed to 4 training objects yields an insertion policy that inserts 4 novel objects with over 85.0% success rate and within 3~4 attempts. Comparisons between F/T and tactile sensing, shows that while an F/T-based policy learns more efficiently, a tactile-based policy provides better generalization.

研究の動機と目的

• 事前に幾何形状の知識が得られない多様な物体幾何形状に適応する汎用的ロボット挿入ポリシーの開発。
• 接触状態がタクトルセンシングや力/トルク（F/T）センシングからのみ部分的に観測可能な接触豊富な操作タスクにおける課題の解決。
• 適切なセンシング表現と学習戦略を活用することで、トレーニング対象外の物体への一般化を向上。
• タクトルベースのRLがF/TベースのRLおよび教師あり学習アプローチよりも、新規物体形状への一般化性能で優れていることを実証。
• 学習方式、カリキュラムトレーニング、センシングモダリティ、タクトル表現といった主な設計要因がポリシー性能およびデータ効率に与える影響の調査。

提案手法

• 繰り返し挿入試行とポーズ補正を伴うエピソード的RL問題として挿入タスクを定式化。
• 高解像度のGelSlimタクトルセンサを用いてグリッパーの指先での接触ダイナミクスを捉え、空間的・時間的フィードバックを豊富に提供。
• 接触マーカーの時間的変動を表すタクトルフローとしてタクトルデータを表現することで、表面テクスチャへの過剰適合を低減し、一般化性能を向上。
• 段階的課題複雑度の増加（壁 → 角 → U字型 → 洞窟）によりカリキュラム学習を実装し、データ効率と収束速度を向上。
• アライメント誤差と挿入成功に基づく密度の高い形状報酬を用いて、PPO（Proximal Policy Optimization）を用いたエンドツーエンドの深層RLエージェントを訓練。
• 初期探索の向上とトレーニングの安定化を図るため、教師ありポリシーを用いてRLポリシーをブートストラップ。

Figure 1: Insertion task with the proposed Tactile RL policy.

実験結果

リサーチクエスチョン

• RQ1 接触豊富な挿入タスクにおいて、未知の幾何形状を持つ新規物体に、タクトルベースのRLポリシーが一般化可能か？
• RQ2 カリキュラム学習は、タクトル-RLによる挿入タスクにおいて、データ効率と収束速度をどのように向上させるか？
• RQ3 RLベースの挿入タスクにおいて、タクトルフロー表現は、RGBタクトル画像のままの入力よりも優れた一般化性能を示すか？
• RQ4 多様な物体形状にわたる一般化性能において、タクトルセンシングはF/Tセンシングと比較してどのように優れているか？
• RQ5 接触状態が部分的に観測可能な挿入タスクにおいて、教師あり学習と強化学習の相対的な影響は何か？

主な発見

• 最適な構成（RLにカリキュラム学習とタクトルフローを組み合わせたもの）は、4つの新規物体に対して3–4回の試行で85.0%以上の成功率を達成した。
• カリキュラム学習を用いたRLポリシーは、非カリキュラムRLに比べて収束が早く、トレーニング対象の物体で80%の成功率を達成するのに試行回数を半分に抑えた。
• 教師あり学習ベースラインとは対照的に、タクトル-RLポリシーは顕著に優れた一般化性能を示し、テスト段階で直方体およびペーパーボックスの物体挿入に失敗した。
• 生のRGBタクトル画像を用いたポリシーはトレーニング対象の物体に過剰適合し、ビッグボトルやペーパーボックスといった新規物体ではほぼゼロの成功率を示した。
• F/TベースのRLポリシーは円筒形物体ではほぼ100%の成功率を達成したが、直方体形状の物体では55%に低下し、回転誤差への一般化が不十分であることが示された。
• タクトルセンシングはF/Tセンシングよりも優れた一般化性能を示した。タクトルフローは接触時の運動ダイナミクスを捉えており、F/Tセンサでは区別できない情報を提供した。

Figure 2: Tactile signals for four contact configurations. In the first 2 cases, the object contacts an edge in the environment that is perpendicular to the plane of the sensors, and consequently the object rotates in the plane of the sensors. Note that the rotation directions are opposite in cases