[論文レビュー] A Kernel-Based Approach to Non-Stationary Reinforcement Learning in Metric Spaces

Omar Darwiche Domingues, Pierre Ménard+3 more|arXiv (Cornell University)|Jul 9, 2020

Reinforcement Learning in Robotics参考文献 32被引用数 9

ひとこと要約

本稿では、測度空間における非定常なマルコフ決定過程（MDP）に対して、時間に依存するカーネルを用いて環境の変化をモデル化し、適応的探索を可能にするカーネルベースの強化学習アルゴリズム、KeRNSを提案する。この手法は、被覆次元とMDPの全変動量に比例するレグレットバウンドを達成し、スライディングウィンドウや指数的割引と同様の機構を統一的なカーネルフレームワーク内で一般化するとともに、代表状態を用いた効率的実装を可能にする。

ABSTRACT

In this work, we propose KeRNS: an algorithm for episodic reinforcement learning in non-stationary Markov Decision Processes (MDPs) whose state-action set is endowed with a metric. Using a non-parametric model of the MDP built with time-dependent kernels, we prove a regret bound that scales with the covering dimension of the state-action space and the total variation of the MDP with time, which quantifies its level of non-stationarity. Our method generalizes previous approaches based on sliding windows and exponential discounting used to handle changing environments. We further propose a practical implementation of KeRNS, we analyze its regret and validate it experimentally.

研究の動機と目的

• 過去の知識が陳腐化する非定常環境における探索と活用のバランスを取る課題に対処すること。
• 時間変動するMDPに適応可能な非パrametricな強化学習アルゴリズムを、カーネルベースの関数推定を用いて開発すること。
• スライディングウィンドウや指数的割引といった従来の忘却メカニズムを、統一的なカーネルフレームワーク内で一般化すること。
• やや弱い仮定の下で、連続的で測度空間に属する状態空間における非定常な強化学習のためのレグレットバウンドを提供すること。
• 代表状態の選択を用いて、1エピソードあたりの実行時間が定数となる計算効率の良い変種、RS-KeRNSを設計すること。

提案手法

• KeRNSは、時間に依存するカーネルを用いて過去の遷移を重み付けし、最新のデータに高い重要度を与えることで、陳腐化した情報の自動的忘却を可能にする。
• 測度空間内の状態-行動ペアに対してカーネルスムージングを用いて、MDPの遷移関数および報酬関数の非パrametric推定を行う。
• 累積的なカーネル重み付き訪問回数の逆数に依存する、修正されたUCBスタイルのボーナスを用いて、価値関数の楽観的推定を実現する。
• 計算コストの低減のため、代表状態の選択メカニズムを導入し、1エピソードあたりの計算量が定数となるRS-KeRNSの変種を実現する。
• カーネル関数は、時間的減衰（η^t を通じて）と空間的類似性（ρ[u,v] を通じて）を組み合わせることで、時間的忘却と空間的一般化の両方を可能にする。
• 適切なカーネルパラメータを選択することで、スライディングウィンドウや指数的割引が、提案された時間的・空間的依存カーネルフレームワークの特殊ケースとして一般化される。

実験結果

リサーチクエスチョン

• RQ1 カーネルベースのアプローチは、連続的状態-行動空間を持つ非定常MDPにおいて、レグレットバウンドを達成できるか？
• RQ2 時間に依存するカーネルの使用は、非定常強化学習における従来の忘却メカニズム（スライディングウィンドウや指数的割引）と比較してどのように異なるか？
• RQ3 レグレット性能を犠牲にせずに、カーネルベースの強化学習で1エピソードあたり定数時間の実行が可能になるか？
• RQ4 カーネルの形状（例：ガウス型 vs. 4次型）が、変化する環境における適応速度とレグレットに与える影響は何か？
• RQ5 リプシッツ定数が未知である場合、アルゴリズムはどのように動作するのか？また、近隣探索による近似は十分に機能するか？

主な発見

• KeRNSは、状態-行動空間の被覆次元とMDPの時間的全変動量に比例するレグレットバウンドを達成し、非定常性を定量的に評価する。
• 本手法は、スライディングウィンドウと指数的割引の両方を、時間的・空間的依存カーネルフレームワークの特殊ケースとして一般化する。
• RS-KeRNSは代表状態の選択を用いることで、1エピソードあたりの実行時間を定数に保ち、実用的導入が可能であり、望ましいレグレット-実行時間のトレードオフを維持する。
• 実験結果では、RS-KeRNSが環境の変化に伴い最適方策を的確に追跡でき、Kernel-UCBVIを上回り、変化のタイミングを事前に知っているベースラインと同等の性能を示した。
• カーネルの選択（ガウス型 vs. 4次型）が適応速度に影響を与え、一部の設定では4次型カーネルがより速い収束を示した。
• 真のリプシッツ定数が未知であっても、価値関数更新における近隣近似を用いることで、アルゴリズムは依然として有効であることが実証された。