[論文レビュー] Online Tool and Task learning via Human Robot Interaction.

Masood Dehghan, Zichen Vincent Zhang+4 more|arXiv (Cornell University)|Sep 24, 2018

Robot Manipulation and Learning参考文献 20被引用数 3

ひとこと要約

本論文では、深層学習ベースの物体認識モジュール、直感的な3次元運動指定インターフェース、および非構造化表面におけるコンpliantな操作を可能にするハイブリッド力覚-ビジョン制御システムを用いて、リアルタイムでの人間との相互作用を通じて段階的に新しいツールやタスクを学習するロボットシステムを提示する。このシステムはKUKA Innovation Awardのファイナリストに選出され、2018年ハンブルクメッセで展示された。

ABSTRACT

This work describes the development of a robotic system that acquires knowledge incrementally through human interaction where new tools and motions are taught on the fly. The robotic system developed was one of the five finalists in the KUKA Innovation Award competition and demonstrated during the Hanover Messe 2018 in Germany. The main contributions of the system are a) a novel incremental object learning module - a deep learning based localization and recognition system - that allows a human to teach new objects to the robot, b) an intuitive user interface for specifying 3D motion task associated with the new object, c) a hybrid force-vision control module for performing compliant motion on an unstructured surface. This paper describes the implementation and integration of the main modules of the system and summarizes the lessons learned from the competition.

研究の動機と目的

• 直接的な人間との相互作用を通じて、リアルタイムで新しいツールや運動タスクを段階的に学習できるロボットの実現。
• 事前プログラムされた知識や構造化された環境がなくても、ロボットに新しい物体や行動を教える課題への対処。
• 新しく教えた物体に関連付けられた3次元運動タスクを指定するための直感的なインターフェースの開発。
• リアルタイムの視覚フィードバックと力覚センシングを組み合わせたハイブリッド力覚-ビジョン制御戦略を用いて、非構造化表面でのコンpliantな操作を可能にすること。

提案手法

• 相互作用中にリアルタイムで新しいツールや物体の局所化と認識を可能にする、深層学習ベースの段階的物体学習モジュール。
• 人間が直接入力することで、新しく教えた物体に関連付けられた3次元運動タスクを定義できる直感的なユーザーインターフェース。
• 視覚フィードバックと力覚センシングを統合することで、非構造化表面におけるコンpliantな運動を可能にするハイブリッド力覚-ビジョン制御モジュール。
• 物体学習、タスク指定、コンpliant制御の3つのコアモジュールを統合し、オンライン学習を可能にする統合的ロボットシステムへの統合。
• KUKA Innovation Awardコンペティションへの参加および2018年ハンブルクメッセでのライブデモンストレーションによるシステムの導入と検証。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてロボットは、継続的な人間との相互作用を通じてリアルタイムで新しいツールや物体を段階的に学習できるか？
• RQ2 どのようなインターフェース設計が、新しく教えた物体に対して直感的かつ3次元的な運動タスク指定を可能にするか？
• RQ3 リアルタイムの視覚フィードバックと力覚フィードバックを用いて、どのようにしてロボットは非構造化表面でのコンpliantな操作を実現できるか？
• RQ4 オンラインでのツールおよびタスク学習を可能にするために、システムレベルでの統合において直面する主な課題は何か？

主な発見

• 深層学習ベースの物体学習モジュールは、相互作用中のリアルタイムな新しいツールや物体の局所化と認識に成功した。
• 直感的なユーザーインターフェースにより、専門知識のないユーザーでも、最小限の訓練で新規物体の3次元運動タスクを指定できるようになった。
• ハイブリッド力覚-ビジョン制御モジュールにより、非構造化表面での安定的かつコンpliantな操作が可能となり、タスクのロバスト性が向上した。
• 統合されたシステムは、2018年ハンブルクメッセで成功裏にデモンストレーションされ、KUKA Innovation Awardコンpetitionで5名のファイナリストの1名に選ばれた。