[論文レビュー] A Boolean Task Algebra for Reinforcement Learning

Geraud Nangue Tasse, Steven James+1 more|arXiv (Cornell University)|Jan 6, 2020

Reinforcement Learning in Robotics参考文献 20被引用数 12

ひとこと要約

この論文は、論理的結合子（論理和、論理積、論理否定）を用いてタスクをゼロショットで合成できる強化学習のブールタスク代数を導入する。基本タスクの上での拡張された目的志向価値関数を学習することで、追加の訓練なしに論理的に合成された任意のタスクを最適に解けるようになり、追加のサンプルを一切得ることなく、超指数的タスク拡張が達成される。

ABSTRACT

The ability to compose learned skills to solve new tasks is an important property of lifelong-learning agents. In this work, we formalise the logical composition of tasks as a Boolean algebra. This allows us to formulate new tasks in terms of the negation, disjunction and conjunction of a set of base tasks. We then show that by learning goal-oriented value functions and restricting the transition dynamics of the tasks, an agent can solve these new tasks with no further learning. We prove that by composing these value functions in specific ways, we immediately recover the optimal policies for all tasks expressible under the Boolean algebra. We verify our approach in two domains---including a high-dimensional video game environment requiring function approximation---where an agent first learns a set of base skills, and then composes them to solve a super-exponential number of new tasks.

研究の動機と目的

• 長期間にわたる強化学習エージェントが、追加の訓練なしに学習済みスキルを組み合わせて新たな複雑なタスクを生成できるようにすること。
• ブール代数を用いてタスク合成を形式化し、従来の和集合および積集合に限定された先行研究を越えること。
• 複数の目的を同時に符号化する拡張価値関数を用いた、タスクのゼロショット合成手法を開発すること。
• 関数近似を用いて低次元（Four Rooms）および高次元（ビデオゲーム）の環境で、本手法の有効性を検証すること。
• すべてのブール合成タスクに対する最適方策が、基本価値関数から直接導出可能であることを示すこと。

提案手法

• タスクをブール代数の要素として形式化し、集合論的意味論を用いてタスクに論理演算（OR、AND、NOT）を定義する。
• 複数の目的を同時に符号化する拡張価値関数を導入し、論理的合成を可能にする。
• ブールタスク代数と価値関数代数の間の準同型写像の存在を証明し、合成の正しさを保証する。
• 遷移ダイナミクスを制限することで、合成された価値関数が追加学習なしに新しいタスクの最適方策を生成することを保証する。
• 高次元環境では関数近似を用いて、本手法を現実の強化学習設定にスケーリングする。
• Four Roomsおよびビデオゲーム環境での実験により性能を検証し、合成タスクの平均報酬を測定する。

実験結果

リサーチクエスチョン

• RQ1 論理的演算子（OR、AND、NOT）を用いたタスクの合成を、最適性を保持する形で形式化できるか？
• RQ2 基本タスクのブール式として表現可能な任意のタスクを、追加学習なしにエージェントが解けるか？
• RQ3 拡張価値関数の使用が、最適方策の正確なゼロショット合成を可能にするか？
• RQ4 関数近似を要する高次元環境において、本手法はどの程度スケーリング可能か？
• RQ5 スパarsな報酬と複雑な状態空間を有する複雑な現実世界環境に、本フレームワークを適用可能か？

主な発見

• 提案されたブールタスク代数により、基本タスクのブール式として表現可能な任意のタスクのゼロショット合成が可能になった。
• 拡張価値関数を合成することで、エージェントは追加の訓練や学習なしに、すべての合成タスクに対して最適方策を達成した。
• Four Rooms環境では、エージェントは基本スキルを学習した後、論理和（OR）、論理積（AND）、排他的論理和（XOR）を含むすべてのブール合成タスクを最適報酬で解いた。
• 高次元のビデオゲーム環境では、エージェントが基本スキル（青色のオブジェクト収集、四角形収集）を合成して、関数近似を伴いながらも即座に新しいタスクを解くことができた。
• 本手法により、タスク能力の超指数的拡張が達成された—1つの追加の基本タスクが、可能な合成タスク数を倍にした。
• 本フレームワークは、下位の価値関数学習アルゴリズムに依存せず、現代のディープ強化学習手法と互換性がある。