[論文レビュー] General In-Hand Object Rotation with Vision and Touch

Haozhi Qi, Brent Yi+5 more|arXiv (Cornell University)|Sep 18, 2023

Tactile and Sensory Interactions被引用数 6

ひとこと要約

RotateIt は、複数の軸にわたる一般化可能な指先ベースの物体回転を実現する、視覚とタクトイルセンシングを統合した強化学習システムである。訓練は、正確な形状と物理的性質の情報を有するシミュレーション環境で実施され、その知識はノイズの多い現実世界の視覚的およびタクトイル入力から物体の性質を推定する visuotactile transformer に凝縮される。このアプローチにより、訓練中に未確認の多様な現実世界の物体に対しても、微調整なしに安定したシミュレーションから現実世界への転送が達成される。

ABSTRACT

We introduce RotateIt, a system that enables fingertip-based object rotation along multiple axes by leveraging multimodal sensory inputs. Our system is trained in simulation, where it has access to ground-truth object shapes and physical properties. Then we distill it to operate on realistic yet noisy simulated visuotactile and proprioceptive sensory inputs. These multimodal inputs are fused via a visuotactile transformer, enabling online inference of object shapes and physical properties during deployment. We show significant performance improvements over prior methods and the importance of visual and tactile sensing.

研究の動機と目的

• 指先ベースの操作のみを用いて、一般化可能で複数軸にわたる指内での物体回転を実現すること。
• 多様な感覚情報を活用することで、熟練情報に依存しないデキストラス操作におけるシミュレーションから現実世界への転送の課題を克服すること。
• 現実世界の展開において熟練情報への依存を減らすために、視覚とタッチからの入力から物体の性質を推論する能力を学習すること。
• 視覚とタクトイルセンシングが、複雑で球形でない物体の正確な形状理解と安定した操作に不可欠であることを示すこと。
• 再訓練や人間のデモなしに、多様な現実世界の物体に一般化可能なシステムを開発すること。

提案手法

• 真の物体形状と物理的性質の表現（外挿情報）を用いて、シミュレーションでオラクルポリシーを訓練し、効率的な複数軸回転を実現する。
• プロ prioception、視覚（深度）、タクトイル（接触位置）の入力シーケンスから、プライベートな外挿表現 $\hat{\mathbf{z}}_t$ を推定する visuotactile transformer を使用する。
• オラクルポリシーを実世界のポリシーに蒸留するために、$\mathbf{z}_t$ と $\hat{\mathbf{z}}_t$ 間の回帰損失を最小化するように visuotactile transformer を訓練する。
• 複雑な現実世界のシーンにおける前景物体のセグメンテーションに Segment Anything を使用する。
• 全方向視覚ベースのタクトイルセンサからのタクトイル画像とリアルタイム推論を用いて、蒸留されたポリシーを直接現実世界に展開する。
• 単一軸のオラクルと共有の報酬関数を用いた模倣学習により、複数軸のポリシーを同時に訓練し、回転軸間での一般化を可能にする。

Figure 1: Rotation over multiple axes by integrating proprioception, vision, and touch sensing. RotateIt is trained in simulation and deployed directly to the real-world, where it generalizes to diverse test objects without the need for fine-tuning. Please see our website for more videos.

実験結果

リサーチクエスチョン

• RQ1 視覚とタッチを統合したポリシーは、微調整なしに現実世界で複数軸にわたる安定的かつ一般化可能な指内回転を達成できるか？
• RQ2 現実世界の操作において、視覚とタクトイルセンシングは、物体の形状と物理的性質を正確に推定するためにどのように寄与するか？
• RQ3 多様な感覚情報の統合は、熟練操作におけるシミュレーションから現実世界への転送性能にどのような影響を与えるか？
• RQ4 1つの複数軸ポリシーは、タスク固有の単一軸ポリシーと同等の性能を発揮し、異なる回転軸に一般化できるか？
• RQ5 熟練情報が欠落している状況ではポリシーの性能にどのような影響が生じるか。視覚とタッチはその欠落を補えるか？

主な発見

• RotateIt は、ボックス、球体、シリンダー、不規則な形状を含む多様な現実世界の物体に対して、微調整なしに 20 秒以内に複数軸の指内回転（最大 $2\pi$ ラジアン）を成功させる。
• システムは、現実世界の物理法則や物体の幾何形状がシミュレーションと異なる場合でも、安定したシミュレーションから現実世界への転送を達成し、強力な一般化性能を示している。
• 視覚とタッチを欠いたポリシーは安定性を維持できず、回転タスクを完了できないことが確認され、多様な感覚情報の重要性が明確になった。
• visuotactile transformer は、ノイズの多い感覚入力から正確に物体の性質を推論可能であり、模倣学習で訓練された場合、単一軸オラクルと同等の性能を発揮した。
• 蒸留された複数軸ポリシーは、単一軸オラクルと同等の性能を示した（例：エピソード回転報酬で 105.21 ± 9.27 対 110.19 ± 8.26）、一般化が効果的に実現された。
• 形状理解は視覚とタッチが大きく向上させる：球体や立方体はプロ prioception のみで区別可能だが、ピアのような不規則な形状は追加の感覚入力が必要となる。

Figure 2: An overview of our training pipeline. Trainable components are highlighted in green. In oracle policy training, we jointly optimize the privileged encoder and control policy using PPO. In the visuotactile policy training, we feed a sequence of visuotactile and proprioceptive inputs to a tr