[論文レビュー] Adaptive Discretization for Model-Based Reinforcement Learning

Sean R. Sinclair, Tianyu Wang+3 more|arXiv (Cornell University)|Jul 1, 2020

Advanced Bandit Algorithms Research参考文献 57被引用数 9

ひとこと要約

本稿では、データ駆動のニーズに基づいて状態・行動空間の分割を動的に精緻化する、モデルベース強化学習のための適応的離散化を提案する。この手法により、メモリ使用量と計算コストを削減しながらも、競争力のあるレグレットバウンドを維持する。固定離散化と比較して収束が速く、ストレージ消費量も少ない。また、適応的分割を用いることで、実験的にモデルフリー手法と同等またはそれ以上の性能を達成する。

ABSTRACT

We introduce the technique of adaptive discretization to design an efficient model-based episodic reinforcement learning algorithm in large (potentially continuous) state-action spaces. Our algorithm is based on optimistic one-step value iteration extended to maintain an adaptive discretization of the space. From a theoretical perspective we provide worst-case regret bounds for our algorithm which are competitive compared to the state-of-the-art model-based algorithms. Moreover, our bounds are obtained via a modular proof technique which can potentially extend to incorporate additional structure on the problem. From an implementation standpoint, our algorithm has much lower storage and computational requirements due to maintaining a more efficient partition of the state and action spaces. We illustrate this via experiments on several canonical control problems, which shows that our algorithm empirically performs significantly better than fixed discretization in terms of both faster convergence and lower memory usage. Interestingly, we observe empirically that while fixed-discretization model-based algorithms vastly outperform their model-free counterparts, the two achieve comparable performance with adaptive discretization.

研究の動機と目的

• 大規模または連続的な状態・行動空間において固定離散化の非効率性を解消するため、データに基づいて分割を適応的に変更する手法を提案する。
• リプシッツ連続性の仮定の下で、保証された最悪ケースのレグレットバウンドを持つモデルベース強化学習アルゴリズムを設計する。
• オンライン強化学習におけるストレージおよび計算コストを削減するため、関連性のある細分化されたパーティションのみを維持する。
• 適応的離散化が、モデルベース強化学習がモデルフリー手法と同等またはそれ以上の性能を達成できるかどうかを実験的に評価する。
• 構造的問題へ応用可能なモジュラーなレグレット解析フレームワークを提供する。

提案手法

• アルゴリズムは、状態空間および行動空間の適応的かつデータ依存的なパーティションに基づく、楽観的1ステップ価値反復を用いる。
• 報酬および遷移確率の推定値を維持し、不確実性が高く価値が大きい領域でのみパーティションを精緻化する。
• UCBの原則に類似したボーナス項によって、未十分にサンプルされた領域での探索を促進する。
• パーティションの数が必要な箇所にのみ増加するよう保証し、ストレージおよび計算コストを最小限に抑える。
• 動的および報酬関数のリプシッツ連続性を活用して推定誤差を制限し、レグレット保証を導出する。
• Q値およびカウントの高速な検索と更新を可能にするための効率的なデータ構造を用いる。

実験結果

リサーチクエスチョン

• RQ1 適応的離散化は、レグレット性能に影響を与えることなく、モデルベース強化学習におけるメモリ使用量と計算コストを削減できるか？
• RQ2 連続的なMDPにおいて、適応的離散化のレグレット性能は、最先端のモデルベースアルゴリズムと比較してどうなるか？
• RQ3 適応的離散化により、実用的な文脈でモデルベース強化学習がモデルフリー手法と同等の性能を達成できるか？
• RQ4 レグレット解析を、MDPに追加の構造的仮定を組み込む形でモジュラーに拡張可能か？
• RQ5 パーティションの動的精緻化は、収束速度および最終的な方策品質にどのように影響を与えるか？

主な発見

• 提案手法は、ホライズンおよび問題次元に応じて有利にスケーリングする、最先端のモデルベースアルゴリズムと同等の最悪ケースのレグレットバウンドを達成する。
• 固定離散化と比較して、適応的離散化はストレージ使用量を顕著に削減し、高価値領域でのみパーティションサイズが増加する。
• オイル探査およびアンバサダールーティングの実験において、適応的手法は固定離散化ベースラインと比較して収束が速く、より少ないメモリを消費した。
• 実験的に、適応的モデルベースアルゴリズムは、通常は固定離散化モデルベース手法に劣る傾向にあるモデルフリー手法と同等の性能を達成した。
• 適応的パーティショニング戦略により、最適Q値が大きい領域でより細かいグリッドが形成され、学習効率が向上した。
• モデルフリーの適応的Q学習アルゴリズムは、モデルベースバージョンよりも細かいパーティションを維持しており、探索行動の差が示された。