[論文レビュー] Neural Task Programming: Learning to Generalize Across Hierarchical Tasks

Danfei Xu, Suraj Nair+5 more|arXiv (Cornell University)|Oct 4, 2017

Robot Manipulation and Learning参考文献 1被引用数 19

ひとこと要約

Neural Task Programming (NTP) は、タスクのデモを解釈し、再利用可能なニューラルサブルーチンに再帰的に分解することで、階層的で操作的なタスクの間で一般化を可能にするメタラーニングフレームワークです。NTP は、シミュレーションおよび実世界のロボット環境において、長さやトポロジー、意味的性質が異なる未観測のタスクに対し、強力な少数ショット一般化を達成しており、特に視覚入力を用いたエンドツーエンドで訓練された場合に顕著です。

ABSTRACT

In this work, we propose a novel robot learning framework called Neural Task Programming (NTP), which bridges the idea of few-shot learning from demonstration and neural program induction. NTP takes as input a task specification (e.g., video demonstration of a task) and recursively decomposes it into finer sub-task specifications. These specifications are fed to a hierarchical neural program, where bottom-level programs are callable subroutines that interact with the environment. We validate our method in three robot manipulation tasks. NTP achieves strong generalization across sequential tasks that exhibit hierarchal and compositional structures. The experimental results show that NTP learns to generalize well to- wards unseen tasks with increasing lengths, variable topologies, and changing objectives.

研究の動機と目的

• 複雑で階層的な操作タスクにおいて、目的や初期状態が異なる状況でもロボット方策の一般化を達成すること。
• デモから再利用可能でモジュラーなニューラルプログラムを発見し、タスクの変化に一般化可能なワンショット学習を可能にすること。
• 実行可能なサブルーチンにタスクを階層的に分解することで、長時間スパンの意思決定を支援すること。
• 明示的な状態の監視なしに、視覚入力（例：動画）からエンドツーエンドで訓練すること。
• 多様なタスク構造にわたる実世界のロボット展開における頑健性と転送可能性を向上させること。

提案手法

• NTP は、タスクデモ（例：動画や軌道）を階層的プログラム仕様として解釈し、サブタスクに再帰的に分解する。
• 下位レベルのプログラムは、実行可能なロボットAPIアクション（例：pick_and_place）に対応する階層的ニューラルプログラムがインスタンス化される。
• 各プログラム呼び出しは、現在の環境観測とサブスペシフィケーションを受け取り、次のサブプログラムとサブタスクの入力を予測し、実行を終了するシグナルを出力する。
• 長期間にわたるサブタスク間の依存関係をサポートするため、再帰的構造（例：GRU）を用いて内部状態を維持する。
• 視覚入力の場合、NTPVID (E2E) は7層のCNNを用いて、ポリシーとタスク関連の視覚特徴を同時に学習する。一方、NTPVID (Detector) は事前学習済みのオブジェクト検出器を状態プレプロセッサとして使用する。
• サブルーチン間でパラメータを共有することで、タスク間でのメタラーニングを可能にし、最小限のデータで未観測のタスクインスタンスへの転送を実現する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルプログラム誘導フレームワークは、長さやトポロジーが異なる未観測の階層的タスクに一般化可能か？
• RQ2 NTP は、多様なタスク目的に対して、1つのデモから効果的な少数ショット一般化を達成可能か？
• RQ3 NTP は、真の状態監視なしに視覚入力（例：動画）からエンドツーエンドで訓練された場合、どの程度の性能を示すか？
• RQ4 NTP は、一時的な障害や動的変化などの環境的摂動に対しても頑健性を維持できるか？
• RQ5 NTP は、物理的相互作用制約を伴う実世界のロボットシステムに成功裏に展開可能か？

主な発見

• 実世界のSawyerロボット上で20の未観測のブロックスターリングタスクを実行した結果、NTPは90％の成功率を達成し、アルゴリズム的エラーによる失敗は5％、物理的操作上の問題による失敗も5％であった。
• オブジェクトソーティングタスクでは、10の未観測の実世界評価で80％の成功率を達成したが、アルゴリズム的エラーはなく、操作上の失敗は20％であった。
• エンドツーエンドの視覚モデルであるNTPVID (E2E) は、事前学習済み検出器を用いたNTPVID (Detector) よりも優れた性能を示したが、視覚状態情報は部分的であった。
• エンドツーエンドの視覚モデル（NTPVID (E2E)）は、検出器ベースのパイプラインを上回る成功率を達成したが、学習タスク数が少ない（400～1000 vs. 1000）にもかかわらず、計算リソースを著しく多く要した（8台のGPUで10日間）。
• 一時的な障害を伴う悪質な環境下では、GRUを搭載したNTPは88.4％から42.2％に成功率が低下したが、これは動的擾乱に対して感受性が高いことを示しており、標準NTPはより頑健であった。
• テーブルクリーニングタスクにおいて、ボウルやフォークの数が異なる状況でも、NTPはシミュレーションで55％～100％の成功率を維持したが、衝突チェックエラーが性能低下の主な要因であり、ポリシーの誤りによるものではなかった。