[論文レビュー] Unsupervised Basis Function Adaptation for Reinforcement Learning

Edward W. Barker, Charl Ras|arXiv (Cornell University)|Mar 3, 2017

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、訪問頻度に基づいて動的に状態集合を精緻化する、強化学習における非教師あり基底関数適応手法PASA（Probabilistic Adaptive State Aggregation）を提案する。理論的に、$ O(X\log_2 S) $ のメモリと無視できる時間計算量で、$ X \geq K\sqrt{S}\ln S\log_2 S $ の条件下で、弱い仮定のもとでほぼゼロの平均二乗ベルマン誤差を保証する。

ABSTRACT

When using reinforcement learning (RL) algorithms to evaluate a policy it is common, given a large state space, to introduce some form of approximation architecture for the value function (VF). The exact form of this architecture can have a significant effect on the accuracy of the VF estimate, however, and determining a suitable approximation architecture can often be a highly complex task. Consequently there is a large amount of interest in the potential for allowing RL algorithms to adaptively generate approximation architectures. We investigate a method of adapting approximation architectures which uses feedback regarding the frequency with which an agent has visited certain states to guide which areas of the state space to approximate with greater detail. This method is "unsupervised" in the sense that it makes no direct reference to reward or the VF estimate. We introduce an algorithm based upon this idea which adapts a state aggregation approximation architecture on-line. A common method of scoring a VF estimate is to weight the squared Bellman error of each state-action by the probability of that state-action occurring. Adopting this scoring method, and assuming $S$ states, we demonstrate theoretically that - provided (1) the number of cells $X$ in the state aggregation architecture is of order $\sqrt{S}\log_2{S}\ln{S}$ or greater, (2) the policy and transition function are close to deterministic, and (3) the prior for the transition function is uniformly distributed - our algorithm, used in conjunction with a suitable RL algorithm, can guarantee a score which is arbitrarily close to zero as $S$ becomes large. It is able to do this despite having only $O(X \log_2S)$ space complexity and negligible time complexity. The results take advantage of certain properties of the stationary distributions of Markov chains.

研究の動機と目的

• 大規模な状態空間における強化学習問題において、価値関数推定のための有効な近似アーキテクチャを選択する課題に対処すること。
• 報酬や価値誤差信号に依存せずに、状態訪問頻度に基づく非教師あり手法が、基底関数の適応を効果的に導けるかどうかを検討すること。
• このような非教師あり適応が、方策評価において任意に小さいベルマン誤差を達成できる理論的条件を確立すること。
• この手法が、最小限の計算およびメモリオーバーヘッドで高い精度を達成できることを示し、大規模問題に実用的であることを示すこと。

提案手法

• PASAは、オンラインで推定した状態訪問頻度を用いて、状態集合セルの精緻化を制御し、頻繁に訪問される状態に多くのセルを割り当てる。
• アルゴリズムは状態空間を $ X $ 個のセルに動的に分割し、訪問頻度の高い状態に細分化された表現を割り当てる。
• マルコフ連鎖の定常分布の性質を活用して、状態への訪問回数の期待値と訪問回数の分散をモデル化する。
• 十分なセル数がある場合、すべての高頻度訪問状態が最終的に個別のセルに分離され、近似誤差が最小化される。
• 理論的分析では、チェビシェフの不等式を用いて、訪問回数が閾値を超える確率を上限で抑え、誤差制御を可能にする。
• 収束保証を得るために、遷移関数に対して一様な事前分布と、決定的に近い方策を仮定する。

実験結果

リサーチクエスチョン

• RQ1 状態訪問頻度にのみ依存する非教師あり適応が、方策評価において近似的に最適な精度の価値関数近似を生み出せるか。
• RQ2 状態空間サイズ $ S $ が増大する際、任意に小さいベルマン誤差を保証するために必要な最小の集合セル数 $ X $ は何か。
• RQ3 この適応手法の空間的・時間的計算量は $ S $ に対してどのようにスケーリングされるか。また、強力な理論的性能を達成しつつも、効率を維持できるか。
• RQ4 方策および遷移関数にどのような条件下で、この手法が低誤差の価値関数推定に収束することが保証されるか。
• RQ5 真の価値関数が未知であり、直接的な誤差信号が利用できない状況でも、この手法は精度を維持できるか。

主な発見

• $ X \geq K\sqrt{S}\ln S\log_2 S $ かつ $ K > \sqrt{\pi/8} $ の場合、$ S \to \infty $ のとき、平均二乗ベルマン誤差 $ L \leq \epsilon_2 $ が確率 $ 1 - \epsilon_1 $ 以上で保証される。
• メモリ計算量は $ O(X\log_2 S) $、時間計算量は無視できるほど小さく、この手法は非常に効率的である。
• 状態への期待訪問回数は $ \mathrm{E}(C) < \mathrm{E}(C_1)(\ln S + 1) $ で上限がつけられ、分散は $ \mathrm{Var}(C) \leq O(S\ln S) $ である。これは理論的境界を支持する。
• $ C\log_2 S \leq X $ のとき、高頻度訪問状態集合 $ \mathcal{C} $ の各状態が最終的に個別のセルに割り当てられ、それらの状態の近似誤差は完全に消去される。
• 弱い仮定のもとで理論的保証が成り立つ：$ X $ が十分に大きく、方策および遷移関数が決定的に近いこと、遷移関数に対する事前分布が一様であること。
• この手法の性能は、遷移ダイナミクスの不確実性に対してロバストであり、明示的な価値関数誤差推定を必要としないため、計算コストが低減される。