[論文レビュー] KETO: Learning Keypoint Representations for Tool Manipulation

Zengyi Qin, Kuan Fang+3 more|arXiv (Cornell University)|Oct 26, 2019

Robot Manipulation and Learning参考文献 58被引用数 10

ひとこと要約

Ketoは、3次元点群からタスク固有のキーポイント表現を自己教師付きで学習するフレームワークを提案し、人為的アノテーションのないキーポイントを用いて、効率的で解釈可能なロボット操作を可能にする。本手法は、ロボットの相互作用データから深層学習により把持点、機能点、効果点を同時に予測することで、3つのツール使用タスク（ハンマーでたたく、押す、届く）において、エンドツーエンド法およびハードコーディング済みベースライン法を上回るタスク成功確率を達成する。

ABSTRACT

We aim to develop an algorithm for robots to manipulate novel objects as tools for completing different task goals. An efficient and informative representation would facilitate the effectiveness and generalization of such algorithms. For this purpose, we present KETO, a framework of learning keypoint representations of tool-based manipulation. For each task, a set of task-specific keypoints is jointly predicted from 3D point clouds of the tool object by a deep neural network. These keypoints offer a concise and informative description of the object to determine grasps and subsequent manipulation actions. The model is learned from self-supervised robot interactions in the task environment without the need for explicit human annotations. We evaluate our framework in three manipulation tasks with tool use. Our model consistently outperforms state-of-the-art methods in terms of task success rates. Qualitative results of keypoint prediction and tool generation are shown to visualize the learned representations.

研究の動機と目的

• 効果的なロボット制御を支援するコンactで解釈可能かつ汎用性のあるツール操作のための表現を構築すること。
• 高価な人為的アノテーションの3次元キーポイントに依存しないように、自己教師付きのロボット相互作用によりキーポイント表現を学習すること。
• 連合キーポイント予測フレームワークを用いて、接触が豊富なツール操作タスクにおける一般化性能と性能を向上させること。
• 予測されたキーポイントを基盤として用いることで、逆問題による新規で機能的なツール形状の生成を可能にすること。
• シミュレーションおよび現実世界の両環境において、キーポイントベースの表現の有効性を実証すること。

提案手法

• タスク固有のキーポイント生成ネットワークが、ツールオブジェクトの3次元点群観測から、同時に把持点、機能点、効果点を予測する。
• キーポイント予測は、人為的アノテーションの真値が存在しないタスク環境における自己教師付きの試行錯誤の相互作用によって訓練される。
• フレームワークは、予測されたツールおよび環境のキーポイントに基づいて、把持および操作の軌道を生成するアクション最適化器を使用する。
• 微分可能評価ネットワークにより、予測されたキーポイント構成の信頼性を最大化するように、オブジェクト部品の姿勢を最適化することで、逆ツール生成を可能にする。
• モデルは合成データのみで訓練され、KinectカメラからのRGB-D観測を用いて現実世界への展開に一般化する。
• ランダムに選択されたオブジェクト部品の姿勢パラメータ（並進および回転）に対して勾配上昇法を適用し、キーポイントから最適なツール形状を合成する。

実験結果

リサーチクエスチョン

• RQ1 ロボットの相互作用からの自己教師付き学習が、ツール操作のための効果的で解釈可能なキーポイント表現を生成できるか？
• RQ2 個別キーポイント予測と比較して、連合キーポイント予測フレームワークは操作性能においてどのように差を示すか？
• RQ3 ある種類のツール（例：ハンマー）で訓練されたモデルが、未観測のツールクラス（例：非ハンマー）にどの程度一般化できるか？
• RQ4 学習されたキーポイント表現が、ランダムな部品から新規で機能的なツールを生成する逆問題を支援できるか？
• RQ5 キーポイント表現を用いることで、エンドツーエンドのビジュオモーター方策と比較してタスク成功確率が向上するか？

主な発見

• Ketoは、ハンマーでたたく、押す、届くの3つのタスクすべてにおいて、エンドツーエンドの深層強化学習およびハードコーディング済みキーポイントベースラインを上回る一貫した高いタスク成功確率を達成する。
• モデルは未観測のツールクラスに対しても良好に一般化し、ハンマーでのみ学習した場合でも非ハンマーのツールに対して高い性能を示す。
• 定性的な結果から、予測されたキーポイントは意味的に意味のあるものであり、不規則なツール形状、さらにはRGB-Dカメラでキャプチャされた現実世界の物体に対しても適応可能であることが示された。
• フレームワークは逆ツール生成を可能にした：キーポイントとランダムな部品が与えられると、部品の姿勢を勾配ベースの最適化により最適化することで、妥当で機能的なツール形状を合成する。
• モデルはシミュレーションから現実世界への展開においても効果的に転送され、合成データでのみ学習したにもかかわらず、ドメインシフトに対して強い耐性を示した。
• 連合キーポイント予測の使用により、個別キーポイント予測と比較して、予測品質および下流タスクの性能が向上した。