[論文レビュー] TossingBot: Learning to Throw Arbitrary Objects with Residual Physics

Andy Zeng, Shuran Song+3 more|arXiv (Cornell University)|Mar 27, 2019

Robot Manipulation and Learning被引用数 15

ひとこと要約

TossingBotは、RGB-Dの視覚的観測を用いて、任意の剛体物体について、つかみと投げのポリシーを統合的に最適化するエンド・ツー・エンドの深層強化学習システムを提案する。物理ベースのボールスティック制御と、放出速度の残差を予測する深層学習を組み合わせることで、1時間あたり500回以上の平均ピックを達成し、投げの正確性が85%に達する。このシステムは、自身の到達範囲外の新しい物体やターゲット位置に対しても一般化可能である。

ABSTRACT

We investigate whether a robot arm can learn to pick and throw arbitrary objects into selected boxes quickly and accurately. Throwing has the potential to increase the physical reachability and picking speed of a robot arm. However, precisely throwing arbitrary objects in unstructured settings presents many challenges: from acquiring reliable pre-throw conditions (e.g. initial pose of object in manipulator) to handling varying object-centric properties (e.g. mass distribution, friction, shape) and dynamics (e.g. aerodynamics). In this work, we propose an end-to-end formulation that jointly learns to infer control parameters for grasping and throwing motion primitives from visual observations (images of arbitrary objects in a bin) through trial and error. Within this formulation, we investigate the synergies between grasping and throwing (i.e., learning grasps that enable more accurate throws) and between simulation and deep learning (i.e., using deep networks to predict residuals on top of control parameters predicted by a physics simulator). The resulting system, TossingBot, is able to grasp and throw arbitrary objects into boxes located outside its maximum reach range at 500+ mean picks per hour (600+ grasps per hour with 85% throwing accuracy); and generalizes to new objects and target locations. Videos are available at https://tossingbot.cs.princeton.edu

研究の動機と目的

• ロボットアームが、自身の運動学的到達範囲外の遠くのターゲットに、任意の剛体物体を信頼性高くつかみ、投げ込むことを可能にすること。
• 構造化されていない環境における、物体の性質（質量分布、摩擦、形状、空気力学的特性）の多様性に直面する課題に対処すること。
• 固定された事前投げ条件に依存せずに、試行錯誤を通じて、つかみと投げのポリシーを連携して学習すること。
• 視覚的認識を用いて、つかみの質と放出速度を同時に最適化することで、投げの正確性を向上させること。
• 物理シミュレーション上にデータ駆動型の残差を適用することで、現実世界の操作タスクにおける一般化性能がどのように向上するかを調査すること。

提案手法

• RGB-D画像から、ボックス内の物体のピクセル単位のつかみの可能性と、それに対応する投げの放出速度を予測するための深層ニューラルネットワークを用いる。
• ターゲット位置と物体の幾何形状に基づいて、理想的なボールスティック的放出速度（$\hat{v}$）を物理ベースの制御で推定する。
• 残差学習を適用：最終的な放出速度は $v = \hat{v} + \delta$ であり、ここで $\delta$ は物体固有の動的特性を補正する深層ネットワークによる補正項である。
• 試行錯誤による強化学習を通じてエンド・ツー・エンドのポリシーを訓練し、投げの正確性（つかみ成功＝正確な投げ）によって報酬を形状化する。
• 視覚的外観と幾何的ヒントを活用することで、質量分布や空気力学的挙動といった物理的事前知識を暗黙的に学習する。
• 特徴量可視化を用いて内部表現を分析し、教師なしの条件下でも、形状に基づいたクラスタリングをネットワークが学習していることが示された。

実験結果

リサーチクエスチョン

• RQ1 ロボットは、視覚的観測と試行錯誤のみを用いて、構造化されていない環境で任意の剛体物体をつかみ、投げることができるか？
• RQ2 つかみと投げのポリシーを同時に学習することで、独立した最適化に比べて性能がどの程度向上するか？
• RQ3 未モデル化された動的特性を補うために、データ駆動型の残差が物理ベースの制御をどの程度向上できるか？
• RQ4 タスク固有の相互作用を通じて学習された深層特徴量は、質量分布や空気力学的特性といった物理的属性を暗黙的に表現できるか？
• RQ5 訓練中に見られなかった新しい物体やターゲット位置に対し、このシステムはどの程度一般化できるか？

主な発見

• TossingBotは、1時間あたり500回以上の平均ピック（MPPH）を達成し、投げの正確性が85%に達する。これは、任意の剛体物体に対する高速で信頼性の高い操作を実現していることを示している。
• システムは、自身の最大到達範囲外の新しい物体やターゲット位置に対しても一般化可能であり、ポリシーの強力な一般化能力を示している。
• 投げの性能はつかみの質に強く相関しており、共同訓練により、つかみの安定性と投げの正確性の両方が顕著に向上している。
• 残差物理アプローチ（$v = \hat{v} + \delta$）は、純粋な物理モデルや純粋な学習手法のベースラインを上回り、正確性とロバスト性の両方が向上している。
• 特徴量可視化の結果、深層ネットワークは明示的な教師なし条件下でも、形状や物理的事前知識に基づいた表現を学習しており、幾何的および動的特性に基づいて物体をクラスタリングしていることが明らかになった。
• このタスクにおいて、学習された特徴量はImageNetで事前学習された特徴量よりも情報量が多く、タスク固有の相互作用がより関連性の高い意味的理解を可能にしていることが示唆された。