[論文レビュー] Hierarchical Haptic Manipulation for Complex Skill Learning

Simon Hangl, Emre Uğur+2 more|arXiv (Cornell University)|Mar 2, 2016

Robot Manipulation and Learning参考文献 21被引用数 3

ひとこと要約

本稿では、自律的スキルプレーと再利用可能な基本スキルを用いて、複雑なスキル学習を可能にする階層的ハプティクス操作フレームワークを提案する。スキル階層を用いて新規環境を既知の状態に変換することで、最小限の教師ありデータと強い環境仮定なしに、複雑なデュアルハンド操作タスクにおける一般化を達成する。

ABSTRACT

In complex manipulation scenarios (e.g. tasks requiring complex interaction of two hands or in-hand manipulation), generaliza- tion is a hard problem. Current methods still either require a substantial amount of (supervised) training data and / or strong assumptions on both the environment and the task. In this paradigm, controllers solving these tasks tend to be complex. We propose a paradigm of maintaining simpler controllers solving the task in a small number of specific situations. In order to generalize to novel situations, the robot transforms the environment from novel situations to a situation where the solution of the task is already known. Our solution to this problem is to play with objects and use previously trained skills (basis skills). These skills can either be used for estimating or for changing the current state of the environment and are organized in skill hierarchies. The approach is evaluated in complex pick-and-place scenarios that involve complex manipulation. We further show that these skills can be learned by autonomous playing.

研究の動機と目的

• マルチハンドの協調やイン・ハンド操作を要する複雑な操作タスクにおける一般化の課題に対処すること。
• 大規模な教師ありデータセットや環境・タスク構造に関する強い仮定への依存を低減すること。
• 学習済みの基本スキルを用いて、新規状況を既知の状態に変換することで、ロボットが新規状況に一般化できること。
• 効率的なタスク実行を可能にするスケーラブルで階層的な制御フレームワークの開発。
• 基本スキルが自己教師ありプレイを通じて自律的に習得可能であることを示すこと。

提案手法

• 従来学習済みの基本スキルを階層構造に整理することで、複雑なタスクにおける合成性を実現する。
• ロボットはこれらの基本スキルを用いて、環境の現在の状態を推定するか、積極的に変化させる。
• 新規状況は、既知のスキルを適用可能な状態に環境を変換することで処理する。
• システムはハプティクスフィードバックを活用して、操作中のスキル選択と状態変換をガイドする。
• スキルは自己教師あり探索と物体との遊びを通じて自律的に学習される。
• 階層構造によりモジュラー制御が可能となり、環境状態に基づいて高レベルの意思決定が適切な低レベルスキルの選択に繋がる。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、追加の教師ありデータを必要とせずに、新規環境における複雑な操作スキルの一般化を達成できるか？
• RQ2 自己教師ありプレイを通じて基本スキルを自律的に学習できるか？
• RQ3 階層的スキル構造は、デュアルハンド操作タスクにおける一般化をどの程度効果的に可能にするか？
• RQ4 スキル適用による環境変換は、複雑なシナリオにおけるタスク成功確率をどの程度向上させるか？
• RQ5 ハプティクスフィードバックは、頑健な状態推定とスキル選択を実現するために果たす役割は何か？

主な発見

• 階層的ハプティクス操作フレームワークは、追加の教師ありデータを必要とせず、新規の操作シナリオに一般化に成功した。
• 自律的プレイにより、再利用可能な基本スキルが習得可能であり、これが複雑なピックアンドプレースタスクで有効に機能した。
• 新規状態を既知で解ける構成に変換することで、デュアルハンド操作において信頼性の高いタスク実行が達成された。
• スキル階層の使用により、多様な環境でも性能を維持しながら制御器の複雑さが低減された。
• ハプティクスフィードバックは状態推定を向上させ、タスク実行中の正確なスキル選択を可能にした。
• 従来の手法が一般化に欠けるために失敗する複雑なシナリオにおいても、本手法は頑健性を示した。