[論文レビュー] Single-partition adaptive Q-learning

João Pedro Araújo, Mário A. T. Figueiredo+1 more|arXiv (Cornell University)|Jul 14, 2020

Reinforcement Learning in Robotics参考文献 31被引用数 4

ひとこと要約

本稿では、時間不変方策を学習しながら、1つのパーティショニング構造を用いて状態行動空間を動的に分割する、単一パーティション適応的Q学習（SPAQL）を提案する。UCBとボルツマン探索を組み合わせ、自動的に調整される温度パラメータを用いることで、AQL（適応的Q学習）よりも収束が速く、より高いサンプル効率を達成する。特に長時間スパンのタスクにおいて、使用するアーム数や学習反復回数を削減できる。

ABSTRACT

This paper introduces single-partition adaptive Q-learning (SPAQL), an algorithm for model-free episodic reinforcement learning (RL), which adaptively partitions the state-action space of a Markov decision process (MDP), while simultaneously learning a time-invariant policy (i. e., the mapping from states to actions does not depend explicitly on the episode time step) for maximizing the cumulative reward. The trade-off between exploration and exploitation is handled by using a mixture of upper confidence bounds (UCB) and Boltzmann exploration during training, with a temperature parameter that is automatically tuned as training progresses. The algorithm is an improvement over adaptive Q-learning (AQL). It converges faster to the optimal solution, while also using fewer arms. Tests on episodes with a large number of time steps show that SPAQL has no problems scaling, unlike AQL. Based on this empirical evidence, we claim that SPAQL may have a higher sample efficiency than AQL, thus being a relevant contribution to the field of efficient model-free RL methods.

研究の動機と目的

• 連続的な状態行動空間におけるモデルフリー強化学習のサンプル非効率性と高いメモリコストを解消すること。
• AQL（適応的Q学習）を改善し、収束をより速くし、パーティショニングの複雑さを低減すること。
• 動的温度チューニングを伴うハイブリッドUCBおよびボルツマン探索戦略により、探索と活用のバランスを取ること。
• 長時間スパンのエピソードタスクに効率的にスケーリングできる時間不変方策学習手法を開発すること。
• 特にボーナススケーリングパラメータに対する手動ハイパーパramータチューニングの依存度を低減すること。

提案手法

• SPAQLは、初期段階で全状態行動空間をカバーする1つのボールから始まり、必要に応じてのみ分割を行う単一の適応的パーティショニング構造を用いる。
• 学習中に探索と活用のバランスを図るために、上位信頼区間（UCB）とボルツマン探索の混合を適用する。
• ボルツマン探索における温度パラメータは、学習効率を向上させるために周期的スケジュールにより動的に調整される。
• 実験の結果、下限値が好ましいとされているが、アルゴリズムはエピソード長Hと信頼水準δに基づいてボーナススケーリングパラメータξを自動的にチューニングする。
• パーティションの更新は、固定された評価エピソード数Nのロールアウトを用い、各ボールの半径はQ値の分散と信頼区間に基づいて調整される。
• 時間に依存しない方策を学習することで、タイムステップごとのパーティショニングを回避し、メモリと計算のオーバーヘッドを削減する。

実験結果

リサーチクエスチョン

• RQ1 単一パーティション適応的Q学習アルゴリズムは、エピソード的で連続的なMDPにおいて、AQLよりも速い収束とより高いサンプル効率を達成できるか？
• RQ2 UCBとボルツマン探索を組み合わせ、適応的温度チューニングを施すことで、学習性能とハイパーパラメータ感受性にどのような影響を与えるか？
• RQ3 AQLと比較して、SPAQLは長時間スパンのタスク（多数のタイムステップを含む）にどの程度スケーリング可能か？
• RQ4 ボーナススケーリングパラメータξは、収束保証を損なわずに効果的にチューニング可能か、あるいは削除可能か？
• RQ5 時間不変方策の使用は、パーティショニングの複雑さを低減させつつ、性能を維持または向上させることができるか？

主な発見

• SPAQLはAQLよりも収束が早く、同等またはより良い性能を達成するために、はるかに少ないアーム（すなわちパーティショニングセル）を必要とする。
• ラプラス調査関数を用いたオイル探査問題において、AQLよりも高いボーナススケーリングパラメータを有するにもかかわらず、SPAQLは累積報酬で優位を示す。
• SPAQLはAQLよりもボーナススケーリングパラメータξに対して感受性が低く、より高いロバストネスを示し、自動チューニングの可能性を示唆している。
• アルゴリズムは長エピソード（最大H=5）においても安定した性能を維持しており、AQLがスケーリングに失敗するのとは対照的である。
• 実験的結果から、ξをH/3未満の非ゼロ値に設定すると最適な性能が得られ、80前後は過剰で逆効果であることが示唆されている。
• 理論的式によるξの推定値はしばしばHより大きな値を示すが、これは実験的結果と矛盾しており、ボーナス項をHで有界にするように再定式化する必要があることを示唆している。