[論文レビュー] A Review of Robot Learning for Manipulation: Challenges, Representations, and Algorithms

Oliver Kroemer, Scott Niekum+1 more|arXiv (Cornell University)|Jul 6, 2019

Robot Manipulation and Learning参考文献 469被引用数 97

ひとこと要約

この論文は、機械学習がロボット操作にどのように適用されるかを概観し、構造化された操作学習問題を形式化し、コア表現、学習課題、タスクファミリの転用を概説します。

ABSTRACT

A key challenge in intelligent robotics is creating robots that are capable of directly interacting with the world around them to achieve their goals. The last decade has seen substantial growth in research on the problem of robot manipulation, which aims to exploit the increasing availability of affordable robot arms and grippers to create robots capable of directly interacting with the world to achieve their goals. Learning will be central to such autonomous systems, as the real world contains too much variation for a robot to expect to have an accurate model of its environment, the objects in it, or the skills required to manipulate them, in advance. We aim to survey a representative subset of that research which uses machine learning for manipulation. We describe a formalization of the robot manipulation learning problem that synthesizes existing research into a single coherent framework and highlight the many remaining research opportunities and challenges.

研究の動機と目的

• ロボット操作学習の既存研究を統合する形式的フレームワークを要約すること。
• 学習を可能にするための操作タスクの主要な構造的特性（物理法則、アクチュエーション不足、階層性）を強調すること。
• 学習をタスクファミリ全体でサポートする物体中心の表現と受動/対話的な知覚を論じること。
• 状態空間発見、遷移モデル、モータポリシー、技能モデリング、階層的抽象化の学習アプローチを説明すること。
• タスク間およびオープンワールド設定での転送の課題と機会を特定すること。

提案手法

• 操作学習を、共有された作用空間とタスク固有の状態、報酬、コンテキストを持つ構造化されたMDPの集合として形式化すること。
• タスク間での物体レベルの一般化を可能にする物体中心の状態とコンテキストの因数分解を採用すること。
• アンダーアクチュエーションとモード切替を捉えるハイブリッドな、区分的連続ダイナミクス（モード）を説明すること。
• 複数のタスクに跨って再利用可能なモータ技能を可能にするオプション（技能）と階層的表現を組み込むこと。
• 受動的な知覚と対話的知覚を区別し、物体の特性と状態表現を改善するための能動的/self-supervised学習を議論すること。
• 物体属性や環境構成が異なるタスクへ転移するコンテキスト意識ポリシーを介して、タスクファミリ全体で学習を提案すること。

実験結果

リサーチクエスチョン

• RQ1 タスクファミリ全体での学習を支えるように、操作タスクをどのように formalize できるか？
• RQ2 どの表現（物体中心、階層的）がタスク間・物体間の一般化を最も支援するか？
• RQ3 状態、遷移、報酬モデルをどのように学習し、タスクファミリ間で転送できるか？
• RQ4 対話的知覚と能動的学習は効率的な操作学習にどのような役割を果たすか？
• RQ5 技能を定義・転送・組み合わせして、新しいタスクファミリ内のタスクをどのように解決するか？

主な発見

• 操作タスクは、オブジェクト中心の状態空間を備え、タスクインスタンス間の転送を可能にする構造化されたMDPとして自然にモデル化できる。
• アンダーアクチュエーションとモード切替はハイブリッドダイナミクスを生み、学習アルゴリズムは階層的または技能ベースのアプローチを用いてこれを扱う必要がある。
• オブジェクト中心の表現（点、部品、物体レベル）と対話的知覚は、タスク間・物体間の一般化を改善する。
• 技能（オプション）と階層的分解は、再利用可能なモータポリシーとモジュール型学習をタスクファミリ全体で可能にする。
• 対話的知覚と能動的学習は不確実性を低減し、受動的知覚の自己教師付きグラウンディングを有効化して、モデリングと制御を改善する。
• タスクファミリ間の転送は、コンテキストベクトルとオブジェクトレベルの構造に依存し、ポリシーとモデルを新しいタスクへ一般化する。