[論文レビュー] Metrics and continuity in reinforcement learning

Charline Le Lan, Marc G. Bellemare+1 more|arXiv (Cornell University)|Feb 2, 2021

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本稿は、連続状態MDPにおける強化学習の学習性能に与える理論的・実験的影響を示しながら、測度を用いて状態空間トポロジーを定義する統一的な形式的枠組みを導入する。状態類似性を測度によって形式化することで、より良い一般化が可能となり、標本効率の良いRLアルゴリズムの設計の基盤が提供される。

ABSTRACT

In most practical applications of reinforcement learning, it is untenable to maintain direct estimates for individual states; in continuous-state systems, it is impossible. Instead, researchers often leverage {\em state similarity} (whether explicitly or implicitly) to build models that can generalize well from a limited set of samples. The notion of state similarity used, and the neighbourhoods and topologies they induce, is thus of crucial importance, as it will directly affect the performance of the algorithms. Indeed, a number of recent works introduce algorithms assuming the existence of well-behaved neighbourhoods, but leave the full specification of such topologies for future work. In this paper we introduce a unified formalism for defining these topologies through the lens of metrics. We establish a hierarchy amongst these metrics and demonstrate their theoretical implications on the Markov Decision Process specifying the reinforcement learning problem. We complement our theoretical results with empirical evaluations showcasing the differences between the metrics considered.

研究の動機と目的

• 直接的な状態推定が不可能な連続状態強化学習における一般化の課題に対処すること。
• 原理的で測度に基づくフレームワークを用いて、状態類似性の概念とその誘導するトポロジーを形式化すること。
• 測度の階層を確立し、MDPおよび学習収束に対する理論的影響を分析すること。
• 実用的な強化学習設定における異なる測度の影響を実験的に評価すること。

提案手法

• 測度を介して状態空間トポロジーを定義する形式的フレームワークを提案し、状態間での構造的一般化を可能にする。
• Lpノルム、カーネルベースの測度など、測度の階層を導入し、MDPの文脈におけるその性質を分析する。
• 測度の選択と強化学習アルゴリズムの標本効率および収束行動との関係を理論的に導出する。
• カーネルベースの測度を用いて、隠れ領域を定義し、連続空間における関数近似を可能にする。
• ベンチマークとなる強化学習環境を用いて、異なる測度仮定下での学習ダイナミクスを比較する実験的評価を実施する。
• 誘導されるトポロジーおよび近傍構造を分析し、価値関数一般化に適した妥当性を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる測度の選択が、状態空間のトポロジーおよび強化学習における一般化にどのように影響を与えるか？
• RQ2 状態空間に構造的測度を用いる場合に、強化学習アルゴリズムに導ける理論的保証は何か？
• RQ3 測度の階層が、連続状態MDPにおける標本効率および収束にどのように影響を与えるか？
• RQ4 実際の応用において、価値関数近似に最も効果的な近傍構造を誘導する測度は何か？

主な発見

• 測度の選択は、状態空間のトポロジーに顕著な影響を与え、それが連続状態RLにおける一般化および学習性能に影響を及ぼす。
• 測度の階層が確立され、特にカーネルベースの測度など、滑らかな近傍構造を有することで、より優れた一般化が可能になる。
• 理論的分析により、適切に選ばれた測度が、価値関数学習における標本効率および安定性を向上させることを示した。
• 実験的結果により、異なる測度仮定下での学習速度および最終的性能に顕著な差が観察された。