[論文レビュー] Towards Hyperparameter-free Policy Selection for Offline Reinforcement Learning

Siyuan Zhang, Nan Jiang|arXiv (Cornell University)|Oct 26, 2021

Reinforcement Learning in Robotics参考文献 34被引用数 4

ひとこと要約

本論文は、追加の関数近似を必要とせず、オフライン強化学習におけるポリシー選択を直接比較できるBVFT（行動価値関数転送）を活用することで、ハイパーパrameterフリーのポリシー選択手法を提案する。このアプローチにより、オフポリシー評価（OPE）の必要性が回避され、ハイパーパrameterチューニングの「鶏と卵」問題が解消され、追加のチューニングコストなしにベンチマーク環境で優れた性能を達成する。

ABSTRACT

How to select between policies and value functions produced by different training algorithms in offline reinforcement learning (RL) -- which is crucial for hyperpa-rameter tuning -- is an important open question. Existing approaches based on off-policy evaluation (OPE) often require additional function approximation and hence hyperparameters, creating a chicken-and-egg situation. In this paper, we design hyperparameter-free algorithms for policy selection based on BVFT [XJ21], a recent theoretical advance in value-function selection, and demonstrate their effectiveness in discrete-action benchmarks such as Atari. To address performance degradation due to poor critics in continuous-action domains, we further combine BVFT with OPE to get the best of both worlds, and obtain a hyperparameter-tuning method for Q-function based OPE with theoretical guarantees as a side product.

研究の動機と目的

• 異なるアルゴリズムやハイパーパrameterで訓練されたポリシーの中から選択する課題に取り組むこと。
• 追加の関数近似とハイパーパrameterを必要とするオフポリシー評価（OPE）手法への依存を排除すること。
• あらゆる訓練アルゴリズムに適合可能で、本質的にハイパーパrameterフリーかつスケーラブルなポリシー選択フレームワークを設計すること。
• 反復的チューニングを伴わずに、オフラインRLパイプラインの意思決定における信頼性と効率性を向上させること。

提案手法

• 本手法はBVFTを用いて行動ポリシーの価値関数をターゲットポリシーに転送し、追加の関数近似器を必要とせずに直接ポリシーを比較可能にする。
• 行動ポリシーの軌道を候補ポリシーの価値推定にマップする価値転送メカニズムを構築する。
• 新しい関数近似器の学習やチューニングを一切行わず、事前に訓練済みのポリシーとその軌道に依存する。
• ポリシー選択は、転送された価値推定値を比較することで実施され、高い値を示すポリシーがより優れたものとされる。
• フレームワークはモジュール型であり、ポリシーとその行動データを出力する任意のオフラインRLアルゴリズムと互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 オフラインRLにおけるポリシー選択は、追加のハイパーパrameterや関数近似器を必要とせずに実現可能か？
• RQ2 BVFTに基づくポリシー選択は、OPEベースの手法と比較して信頼性と性能で優れているか？
• RQ3 提案手法は、ポリシー選択における反復的ハイパーパrameterチューニングの必要性を排除できるか？
• RQ4 本手法は、多様なオフラインRLアルゴリズムや環境に一般化可能か？

主な発見

• 提案手法は、追加のハイパーパrameterを一切必要とせず、OPEベースのベースラインと比較して競争的または優れたポリシー選択性能を達成する。
• BVFTに基づく選択は、価値関数近似器の学習やチューニングの必要性を排除し、複雑さと計算コストを低減する。
• 本手法は、DM Control や AntMaze を含む複数のオフラインRLアルゴリズムとベンチマーク環境において、強固な性能を示す。
• 実験結果から、分布シフトの影響でOPE手法が失敗する状況でも、本手法は一貫して最良のパフォーマンスを示すポリシーを正しく選択することがわかった。