[論文レビュー] Encoding formulas as deep networks: Reinforcement learning for zero-shot execution of LTL formulas

Yen‐Ling Kuo, Boris Katz+1 more|arXiv (Cornell University)|Jun 1, 2020

Machine Learning and Algorithms参考文献 18被引用数 5

ひとこと要約

本論文では、未学習の線形時相論理（LTL）式をゼロショットで符号化・実行できる構成的再帰ニューラルネットワークを用いた強化学習エージェントを提案する。LTL構文に従ってネットワークを構造化し、エンド・トゥ・エンドで訓練することで、シンボリック環境およびMinecraft風環境において多様で未学習の式に対して高い精度で一般化が可能となり、分布外の式についてもシンボルドメインで97%、クラフトドメインで73%の精度を達成した。

ABSTRACT

We demonstrate a reinforcement learning agent which uses a compositional recurrent neural network that takes as input an LTL formula and determines satisfying actions. The input LTL formulas have never been seen before, yet the network performs zero-shot generalization to satisfy them. This is a novel form of multi-task learning for RL agents where agents learn from one diverse set of tasks and generalize to a new set of diverse tasks. The formulation of the network enables this capacity to generalize. We demonstrate this ability in two domains. In a symbolic domain, the agent finds a sequence of letters that is accepted. In a Minecraft-like environment, the agent finds a sequence of actions that conform to the formula. While prior work could learn to execute one formula reliably given examples of that formula, we demonstrate how to encode all formulas reliably. This could form the basis of new multitask agents that discover sub-tasks and execute them without any additional training, as well as the agents which follow more complex linguistic commands. The structures required for this generalization are specific to LTL formulas, which opens up an interesting theoretical question: what structures are required in neural networks for zero-shot generalization to different logics?

研究の動機と目的

• 強化学習エージェントが事前露出なしに、いかなる未学習のLTL式も実行できるようにし、ゼロショット一般化を達成すること。
• 構造化されたニューラルネットワークアーキテクチャを介して、記号的推論（LTL）とデータ駆動型の認識・制御を統合すること。
• 一度のエージェントで、多数かつ多様なLTL式のポリシーを合成できるマルチタスク学習フレームワークを構築すること。
• 共訓練された特徴抽出器とLTLコントローラーを有する構成的ネットワークのエンド・トゥ・エンド訓練の妥当性と性能を調査すること。
• 神経ネットワークアーキテクチャの理論的限界を、論理的記述形式（例：LTL）にわたるゼロショット一般化において解明すること。

提案手法

• 各LTL演算子および述語が学習可能な再帰状態を持つサブネットワークとして表現される、構造的かつ構成的な再帰ニューラルネットワークをエージェントが使用する。
• サブネットワークは、LTL式の構文木に従って階層的に接続され、親子間の状態伝播は線形層によって行われる。
• 特徴抽出ネットワークは、LTLコントローラーとエンド・トゥ・エンドで共に訓練され、環境観測を行動予測に必要な特徴にマッピングする。
• ルートノードの隠れ状態が行動の確率分布にデコードされ、強化学習によるポリシー学習が可能になる。
• 多様で解きにくいLTL式の生成メカニズムにより、トレーニングが時間的・空間的制約の広い分布をカバーする。
• モデルは数えきれないほどの式で訓練され、新規で未学習の式でゼロショット一般化を評価する。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークアーキテクチャが、微調整や各式ごとの事前学習なしに、いかなる未学習のLTL式にも一般化可能か。
• RQ2 時間論理の実行におけるゼロショット一般化に不可欠なアーキテクチャ的要素は何か。
• RQ3 トレーニング用の式の数が、分布外のLTL式におけるゼロショット性能に与える影響は何か。
• RQ4 共訓練された認識と制御を有する構成的ネットワークのエンド・トゥ・エンド訓練が、多様な環境で信頼性のある実行を達成できるか。
• RQ5 LTLのような論理的構造にわたる一般化を実現するため、ニューラルネットワークに必要な最小限のインダクティブバイアスは何か。

主な発見

• 本モデルは、シンボルドメインの未学習LTL式で97%の精度を達成し、クラフトドメインで73%の精度を示し、強力なゼロショット一般化を実証した。
• 10,000のトレーニング式で、シンボルドメインの分布外式に対して90%の精度に達し、1,000式のときの65%から向上した。
• 未学習式の性能はトレーニングデータ量に従って対数的に向上し、対数フィットの決定係数R²が0.99に達し、約24,000式でほぼ100%の精度に達する予測が得られた。
• アブレーションスタディの結果、構成的構造を削除すると性能が約66%に低下し、一般化のための必要性が裏付けられた。
• モデルは、長大な式や未学習のマップに対しても、トレーニング時に両方とも未見であったとしても、効果的に一般化できた。
• 本手法はベースラインを著しく上回り、アーキテクチャのすべての構成要素が性能向上に不可欠であることが示された。