[論文レビュー] Control with adaptive Q-learning

João Pedro Araújo, Mário A. T. Figueiredo+1 more|arXiv (Cornell University)|Nov 3, 2020

Reinforcement Learning in Robotics被引用数 3

ひとこと要約

本稿では、有限の行動空間を有する制御タスク向けに、解釈可能でサンプル効率の高い強化学習アルゴリズムである、終端状態を備えた単一分割適応Q学習（SPAQL-TS）を提案する。状態-行動空間を適応的に分割し、時間に依存しないポリシーを学習することで、SPAQL-TSは、ニューラルネットワークベースのTRPOとは異なり、人間が読み取り可能なポリシーを生成しながら、CartPole環境においてサンプル効率でTRPOを上回る性能を発揮する。

ABSTRACT

This paper evaluates adaptive Q-learning (AQL) and single-partition adaptive Q-learning (SPAQL), two algorithms for efficient model-free episodic reinforcement learning (RL), in two classical control problems (Pendulum and Cartpole). AQL adaptively partitions the state-action space of a Markov decision process (MDP), while learning the control policy, i. e., the mapping from states to actions. The main difference between AQL and SPAQL is that the latter learns time-invariant policies, where the mapping from states to actions does not depend explicitly on the time step. This paper also proposes the SPAQL with terminal state (SPAQL-TS), an improved version of SPAQL tailored for the design of regulators for control problems. The time-invariant policies are shown to result in a better performance than the time-variant ones in both problems studied. These algorithms are particularly fitted to RL problems where the action space is finite, as is the case with the Cartpole problem. SPAQL-TS solves the OpenAI Gym Cartpole problem, while also displaying a higher sample efficiency than trust region policy optimization (TRPO), a standard RL algorithm for solving control tasks. Moreover, the policies learned by SPAQL are interpretable, while TRPO policies are typically encoded as neural networks, and therefore hard to interpret. Yielding interpretable policies while being sample-efficient are the major advantages of SPAQL.

研究の動機と目的

• 有限の行動空間を有する制御問題向けに、サンプル効率的で解釈可能な強化学習アルゴリズムの開発を目的とする。
• 時間に依存しないポリシーを強制することで、既存の適応的Q学習手法を改善することを目的とする。
• 古典的制御ベンチマーク（PendulumとCartPole）に対して、提案手法を評価し、サンプル効率性とポリシーの解釈可能性に焦点を当てる。
• TRPO（標準的な深層強化学習アルゴリズム）と比較して、学習速度および性能の観点から、SPAQL-TSの実験的評価を目的とする。

提案手法

• 適応的Q学習（AQL）は、訓練中に状態-行動空間を動的に分割することで、サンプル効率を向上させる。
• 単一分割適応的Q学習（SPAQL）は、時間に依存しないポリシーを強制する。ここで、行動マッピングは時刻に依存しない。
• SPAQL-TSは、特にエピソード的環境において性能を向上させるために、終端状態メカニズムを導入する。
• アルゴリズムは、状態-行動空間におけるボールベースの分割を用い、各ボール内でのQ値更新を実行する。
• ポリシー抽出は、本質的に解釈可能である。最終的なポリシーは、状態-行動パーティション上のルックアップテーブルとして表現されるためである。
• この手法はニューラルネットワークを回避するため、学習された制御ルールの直接的な解釈が可能になる。

実験結果

リサーチクエスチョン

• RQ1 適応的Q学習における時間に依存しないポリシーは、時間に依存するポリシーと比較して、サンプル効率を向上させ得るか？
• RQ2 SPAQL-TSは、CartPole制御問題においてTRPOを上回るサンプル効率を達成するか？
• RQ3 解釈可能な非ニューラルポリシーは、TRPOのような深層強化学習手法と同等またはそれ以上の性能を発揮するか？
• RQ4 シンプルな関数近似器を使用しているにもかかわらず、なぜSPAQL-TSはTRPOよりも初期学習バッチで優れた性能を示すのか？
• RQ5 ボールベースの領域を用いた適応的パーティショニングは、連続的状態-行動空間に効果的に一般化可能か？

主な発見

• SPAQL-TSはOpenAI GymのCartPole環境を解き、高いサンプル効率で成功した制御を達成した。
• 最初の200回の訓練バッチ（40,000サンプル）において、SPAQL-TSはTRPOをサンプル効率で上回ったが、最終的な性能は統計的に有意差がなかった。
• PendulumおよびCartPoleの両タスクにおいて、SPAQLおよびSPAQL-TSにおける時間に依存しないポリシーは、時間に依存するポリシーよりも優れた性能を示した。
• SPAQLが学習したポリシーは、ルックアップテーブルとして解釈可能である一方、TRPOのポリシーは複雑で解釈不能なニューラルネットワークにエンコードされている。
• Pendulum環境では、連続的行動空間のため、SPAQLおよびSPAQL-TSはTRPOの性能に達しなかったが、離散化により改善が見られた。
• 結果から、ボールベースの領域を用いた適応的パーティショニングは、特にCartPoleのような有限の行動空間を有する問題において最も効果的であると考えられる。