[論文レビュー] TriFinger: An Open-Source Robot for Learning Dexterity

Manuel Wüthrich, Felix Widmaier+13 more|arXiv (Cornell University)|Aug 8, 2020

Robot Manipulation and Learning被引用数 16

ひとこと要約

本論文では、リアルタイムで安全かつ自律的に動作する、低コスト（5,000ドル）のオープンソースロボットプラットフォーム「TriFinger」を紹介する。このプラットフォームは、ロボットに依存しないソフトウェアを用いて1 kHzで深層強化学習と最適制御を実現し、実世界での訓練と頑丈なハードウェア設計により、書くこと、投げること、キューブの操作といったタスクで成功を収めた。

ABSTRACT

Dexterous object manipulation remains an open problem in robotics, despite the rapid progress in machine learning during the past decade. We argue that a hindrance is the high cost of experimentation on real systems, in terms of both time and money. We address this problem by proposing an open-source robotic platform which can safely operate without human supervision. The hardware is inexpensive (about \SI{5000}[\$]{}) yet highly dynamic, robust, and capable of complex interaction with external objects. The software operates at 1-kilohertz and performs safety checks to prevent the hardware from breaking. The easy-to-use front-end (in C++ and Python) is suitable for real-time control as well as deep reinforcement learning. In addition, the software framework is largely robot-agnostic and can hence be used independently of the hardware proposed herein. Finally, we illustrate the potential of the proposed platform through a number of experiments, including real-time optimal control, deep reinforcement learning from scratch, throwing, and writing.

研究の動機と目的

• デキストラクスな操作における現実世界のロボット実験の高コストとリスクを低減すること。
• ハードウェアと運用の障壁を低減することで、大規模かつ再現可能な実機強化学習を可能にすること。
• デキストラクスな操作ポリシーの訓練とベンチマークに適した頑丈でオープンソースのプラットフォームを提供すること。
• 統合されたハードウェアの耐久性とリアルタイムのソフトウェア安全性チェックにより、安全で自律的な運用を支援すること。
• 研究室間で共有できる実世界のデキストラクスな操作研究のベンチマークとして機能すること。

提案手法

• TriFingerプラットフォームは、直列ばねアクチュエータと高精度なエンコーダーを備えた3本の3自由度の指を備えており、力と位置のセンシングが可能である。
• 1 kHzで動作するリアルタイム制御スタックが、予測不可能な制御ポリシーによるハードウェア損傷を防ぐための安全確認を実施する。
• ソフトウェアスタックはロボットに依存せず、C++およびPythonインタフェースをサポートし、リアルタイム制御と深層強化学習を可能にする。
• 最適制御は2段階のアプローチで実装される：力のつり合いを考慮したワンシュベースのモデルを用いて指先に必要な力を計算し、ジャコビアン転置制御によりトルクを適用する。この際、位置・速度フィードバックを用いる。
• 接触時の非引張および非滑り条件を満たすために、摩擦円錐の線形近似を用いる。
• PyBulletを用いたシミュレーション環境を提供し、事前学習とポリシーのシミュレーションから実機への移行を可能にする。

実験結果

リサーチクエスチョン

• RQ1 低コストでオープンソースのロボットプラットフォームは、デキストラクスな操作のための安全で自律的な強化学習ポリシーの訓練を可能にするか？
• RQ2 1つのプラットフォームからの実世界データは、一般化を向上させるとともに、シミュレーションから実世界へのドメインランダマイゼーションをどの程度軽減できるか？
• RQ3 本プラットフォームは、投げや繊細な操作といった複雑で動的なタスクに対してどの程度有効か？
• RQ4 頑丈なハードウェアとリアルタイムの安全確認の組み合わせにより、長期にわたり自律的実験が可能になるか？
• RQ5 TriFingerで訓練されたポリシーの性能は、シミュレーションで訓練されたものと比べてどの程度か？

主な発見

• TriFingerプラットフォームは、700エピソード（実世界での23分間の訓練）を経て、DDPGエージェントを初期状態から訓練し、平均誤差約2 cmでターゲット位置に到達することに成功した。
• 本システムは、衝突やランダムな運動が繰り返されても1週間以上にわたり、故障なく継続的に安全で自律的な運用を実現した。
• 本プラットフォームは、体感的に教えられた運動を用いて、数メートル先に軽い物体を投げることを可能にした。
• ペンを用いた書字、キューブの裏返し、バランスの維持といった繊細な操作タスクは、体感的教示を用いて成功裏に実行された。
• 耐久性試験の結果、1本の指が72日間連続で動作した後に構造的破損が発生したが、弱みを特定し改善措置を講じた。
• ロボットに依存しないソフトウェアフレームワークにより、新しいハードウェアへのシームレスな統合が可能となり、1 kHzでリアルタイム制御と深層強化学習が実現された。