[論文レビュー] Continuous Relaxation of Symbolic Planner for One-Shot Imitation Learning

De-An Huang, Danfei Xu+5 more|arXiv (Cornell University)|Aug 16, 2019

Multimodal Machine Learning Applications参考文献 31被引用数 12

ひとこと要約

本論文は、1ショット強化学習のための記号的計画の連続的リラクゼーションを提案し、1つの示範からロバストなタスク実行を可能にする。確率的記号接地出力上で動作することで、タスク間一般化とポリシー実行を分離し、低データ環境における不確実性に対処する。最小限のメタトレーニングデータで最先端の性能を達成し、手動のヒューリスティクスを必要とせず、ベースラインを上回る。

ABSTRACT

We address one-shot imitation learning, where the goal is to execute a previously unseen task based on a single demonstration. While there has been exciting progress in this direction, most of the approaches still require a few hundred tasks for meta-training, which limits the scalability of the approaches. Our main contribution is to formulate one-shot imitation learning as a symbolic planning problem along with the symbol grounding problem. This formulation disentangles the policy execution from the inter-task generalization and leads to better data efficiency. The key technical challenge is that the symbol grounding is prone to error with limited training data and leads to subsequent symbolic planning failures. We address this challenge by proposing a continuous relaxation of the discrete symbolic planner that directly plans on the probabilistic outputs of the symbol grounding model. Our continuous relaxation of the planner can still leverage the information contained in the probabilistic symbol grounding and significantly improve over the baseline planner for the one-shot imitation learning tasks without using large training data.

研究の動機と目的

• 既存の1ショット強化学習手法が数百のメタトレーニングタスクを必要としているデータ非効率性を解消すること。
• 1ショット強化学習を記号的計画問題として定式化することで、タスク間一般化とポリシー実行を分離すること。
• 記号接地が誤りを起こしやすく、一貫性のない記号状態を生じがちな低データ環境でもロバスト性を向上させること。
• 離散的で誤りの多い記号割り当てではなく、確率的記号表現上で計画を実行できること。
• 手動のルールやヒューリスティクスを一切用いずに、未学習のタスクや代替的解決経路への一般化を強力に達成すること。

提案手法

• 1ショット強化学習を記号的計画問題として定式化し、ポリシー実行とタスク間一般化を分離する。
• データ効率性を高めるためにパラメータ共有を採用するモジュラーな記号接地ネットワーク（SGN）を導入し、連続的状態（例：物体の姿勢、画像）を記号状態に変換する。
• 記号的計画の連続的リラクゼーションを提案し、離散的な集合ではなく、記号状態の確率分布上で動作する。
• 記号的計画における集合論的演算を確率的推論に置き換え、不確実性に対処し、無効な状態遷移を回避する。
• SGNの連続的出力をプランナの入力として使用し、曖昧またはノイズの多い記号予測に対しても推論可能にする。
• 1タスクあたり1つの示範でエンドツーエンドに訓練し、プランナが不確実性を推論できる能力に依存する。

実験結果

リサーチクエスチョン

• RQ1 タスク間一般化とポリシー実行を分離することで、1ショット強化学習に記号的計画を適応させ、データ効率性を向上させることができるか？
• RQ2 低データ環境において記号接地が一貫性のないまたは確率的な状態予測を生じる場合、プランナがどのようにしてロバストに動作できるか？
• RQ3 不完全な記号接地に起因する不確実性を扱う際、離散的記号プランナーよりも連続的リラクゼーションが優れた性能を示せるか？
• RQ4 提案手法は、手動のヒューリスティクスを一切用いずに、未学習のタスクや代替的解決経路への一般化を達成できるか？
• RQ5 従来の手法が通常必要としている400〜1000タスクよりもはるかに少ないメタトレーニングタスクで、高い性能を達成できるか？

主な発見

• 連続的プランナは、SGNが一貫性のない離散的記号出力を生成しても、タスクを正常に完了することができ、記号的プランナーベースラインを上回る。
• メタトレーニングタスクをわずか8つにした状態で、オブジェクトソーティングタスクで100％の成功率を達成した。一方、記号的プランナーやNTGベースラインは15タスクでも100％に到達できなかった。
• 手動のヒューリスティクスベースラインと同等の性能を達成したが、無効な状態を是正するための手作業ルールは一切必要としなかった。
• 必要なメタトレーニングタスク数を顕著に削減した。従来の研究で一般的に必要とされる400〜1000タスクよりもはるかに少ないタスク数で、強力な一般化性能を達成した。
• ブロックスタッキングドメインでは、記号的プランナーが誤った離散的記号割り当てにより失敗するのに対し、連続的プランナは成功した。これは、接地エラーに対するロバスト性を示している。
• 連続的リラクゼーションにより、確率的記号分布上で効果的な計画が可能となり、離散的接地に失敗した場合でも正しいゴール状態を推論できるようになった。