[論文レビュー] CompILE: Compositional Imitation Learning and Execution

Thomas Kipf, Yujia Li+6 more|UvA-DARE (University of Amsterdam)|Dec 4, 2018

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 11

ひとこと要約

CompILEは、柔らかく逐次分割を通じてタスクの境界と潜在的符号化を同時に発見することで、教師なしで完全に微分可能なフレームワークを提示し、示範データから構成的で長さが可変の行動セグメントを学習する。この手法により、階層的強化学習エージェントは学習された部分方策を用いて、より長いシーケンスや未観測の環境に一般化可能となり、報酬が疎である設定において非階層的エージェントが失敗する状況でも、著しく高いサンプル効率を達成する。

ABSTRACT

We introduce Compositional Imitation Learning and Execution (CompILE): a framework for learning reusable, variable-length segments of hierarchically-structured behavior from demonstration data. CompILE uses a novel unsupervised, fully-differentiable sequence segmentation module to learn latent encodings of sequential data that can be re-composed and executed to perform new tasks. Once trained, our model generalizes to sequences of longer length and from environment instances not seen during training. We evaluate CompILE in a challenging 2D multi-task environment and a continuous control task, and show that it can find correct task boundaries and event encodings in an unsupervised manner. Latent codes and associated behavior policies discovered by CompILE can be used by a hierarchical agent, where the high-level policy selects actions in the latent code space, and the low-level, task-specific policies are simply the learned decoders. We found that our CompILE-based agent could learn given only sparse rewards, where agents without task-specific policies struggle.

研究の動機と目的

• タスクのラベルなしで、順序付き示範データに構成的かつ階層的な構造を発見すること。
• 再利用可能で長さが可変の行動セグメントを学習し、それらを再結合して新しい行動を形成できること。
• 階層的強化学習エージェントが、学習済みの部分方策を用いて報酬が疎なタスクを解けるようにすること。
• タスクの境界と潜在的符号化を同時に同定する完全に微分可能な教師なし分割機構を開発すること。
• より長いシーケンスや未観測の環境、またはタスクの組み合わせに一般化できること。

提案手法

• CompILEは、可変長セグメントに段階的に注目して符号化することで、状態-行動トラジェクトリを再構築するための条件付き変分オートエンコーダ（VAE）を用い、柔らかく逐次的なセグメントマスクを導入する。
• 微分可能トレーニングのため、Gumbel-Softmax再パラメータ化トリックを用いて、セグメント境界を緩和された離散的潜在変数としてモデル化する。
• 各セグメントは潜在コードに符号化され、デコーダは学習済みの潜在コードの順序を実行することで元のトラジェクトリを再構築する。
• 推論時には、柔らかくマスクを離散的かつ連続的なマスクに置き換えることで、任意長のシーケンスを反復的セグメンテーションによって処理可能にする。
• 高レベルの方策が潜在コードを選択し、低レベルの方策が学習済みのデコーダである階層的エージェントをサポートする。
• エキスパートの示範データの正確な再構築を促進するオートエンコーディング目的関数により、エンドツーエンドでトレーニングされる。

実験結果

リサーチクエスチョン

• RQ1 教師なしモデルは、タスクラベルなしで、生の状態-行動トラジェクトリから意味的で再利用可能な行動サブルーチンを発見できるか？
• RQ2 学習済みのセグメント境界と潜在コードは、より長いシーケンスや未観測の環境に一般化できるか？
• RQ3 発見された部分方策は、非階層的エージェントが失敗する報酬が疎なタスクを、階層的エージェントが解けるようにできるか？
• RQ4 微分可能なセグメンテーションモジュールは、イベントの境界を特定し、タスク固有の行動を符号化するのにどの程度有効か？
• RQ5 教師なし条件下で、潜在コードがどの程度、意味的タスク構造に根ざしているか？

主な発見

• CompILEベースの階層的エージェントは、マルチタスクグリッドワールド環境のすべての報酬が疎なタスクを正常に学習した一方、非階層的ベースラインは失敗した。
• 3タスクの示範データでのトレーニングのみで、5タスクの構成に一般化したため、強力な組み合わせ的一般化能力を示した。
• 報酬が疎な設定下では、階層的エージェントはシードごとに一貫した学習を達成したが、低レベルのベースラインは密度の高いサブタスク報酬が提供された場合を除き失敗した。
• 環境の場所固有の意味論（オブジェクト固有ではなく）を持つ状況でも、信頼性のあるタスク境界と効果的な潜在符号化を教師なしで発見した。
• 学習曲線の指数的スムージングにより、CompILEベースのエージェントは安定的かつ一貫した性能向上を示したが、報酬が疎な状況下ではベースラインに学習信号が存在しなかった。
• このフレームワークは、階層的意思決定における効率的な探索と信用割り当てを可能にし、挑戦的な制御タスクにおいて、顕著に高いサンプル効率を実現した。