[論文レビュー] Defining the problem of Observation Learning

Leo Pauly|arXiv (Cornell University)|Aug 24, 2018

Robot Manipulation and Learning参考文献 11被引用数 3

ひとこと要約

この論文は、ロボット工学における観察学習を、明示的なプログラミングなしに第三者視点（分配的）の視点から示範者を観察することでタスクを学ぶ、独立した問題として定義している。2段階の学習フレームワークを提案する。まず、生の動画観察を視点不変の特徴空間にマッピングし、次にその特徴をロボット制御変数にマッピングすることで、視覚的示範による人間らしいスキル習得を可能にする。

ABSTRACT

This article defines and formulates the problem of observation learning in robotic systems.

研究の動機と目的

• 模倣学習とは明確に区別される観察学習を形式的に定義すること。特に、第3者視点（分配的）の観察に焦点を当てる。
• 明示的なプログラミングなしに、人間の示範を観察することでロボットが新しいタスクを学べるよう、課題に取り組むこと。
• 示範の生の視覚入力をロボット制御ポリシーにマッピングする学習フレームワークを開発すること。人間の学習を模倣する。
• 構造のない動画入力から得られる視点不変の特徴学習に焦点を当てることで、観察学習と模倣学習を区別すること。
• 視覚的観察のみを用いて、スケーラブルで人間らしいスキル習得の基盤を築くこと。

提案手法

• 観察学習を、X（人間の示範者の動画シーケンス）からC（ロボット操作機の制御変数：関節角、速度、トルク）への写像M: X → Cとして定式化する。
• 写像を2段階に分解する：M₁: X → F（生の動画を視点不変の特徴空間Fにマッピング）、M₂: F → C（特徴をロボット制御出力にマッピング）。
• 同じ動作が異なる角度から観察されても、Fが同一の出力を生成するように保証し、Fを観察者の視点に依存しないようにする。
• 自己教師学習を用いて、ロボット自身の第3者視点とその関節構成との間の写像を学習する。
• 人間の教師による学習を用いて、人間の示範者の第3者視点観察とロボットの関節構成との間の写像を学習する。
• 人間の教師、自己教師学習、観察学習を統合し、反復的な学習プロセスを用いてX → Cの写像を学習する。

実験結果

リサーチクエスチョン

• RQ1 観察学習は、視点（分配的対自己中心的）の観点から、模倣学習とどのように正式に区別できるか。
• RQ2 生の動画示範をロボット制御ポリシーにマッピングする適切な数学的定式化は何か。
• RQ3 構造のない動画入力から視点不変の特徴表現を学習し、タスクの一般化を強化するにはどうすればよいか。
• RQ4 人間の教師と自己教師学習が、人間の行動とロボット制御との間の写像学習において果たす役割は何か。
• RQ5 手作業で設計された特徴に依存する現在の支援付き観察学習手法の限界は何か。

主な発見

• 観察学習は、分配的（第3者視点）の観察を用いることから、模倣学習とは明確に異なる問題であり、別個のモデリングとツールが求められる。
• 生の動画から視点不変の特徴空間へのマッピング（M₁）、および特徴から制御へのマッピング（M₂）という2段階の写像により、多様な視点からの学習が強固に可能になる。
• 自己教師学習と人間の教師学習は、視覚的観察とロボット関節構成との対応関係を学習するために不可欠である。
• 人間の教師、自己教師学習、観察学習の併用により、現実的で制約のない環境における性能が向上する。
• 支援付き観察学習は、手作業で設計された特徴と、ロボットの動きの正確な模倣に依存するため、実際には収集が困難である。
• この分野はまだ始まったばかりであり、特に暗黙の観察学習においては、人間らしいスキル習得の分野における今後の発展の余地が非常に大きい。