[論文レビュー] Hyperparameter Selection for Offline Reinforcement Learning

Tom Le Paine, Cosmin Păduraru+6 more|arXiv (Cornell University)|Jul 17, 2020

Reinforcement Learning in Robotics被引用数 30

ひとこと要約

本論文はオフライン強化学習におけるオフラインのハイパーパラメータ選択を研究し、CRR様のアルゴリズム、Q値再推定のFQE、初期状態の値をランキング統計量として用いると、難しい課題でもポリシーのランキングが信頼できる可能性があることを示す。オフライン手法は適切なオフライン評価戦略を用いない限りハイパーパラメータに敏感であることを強調している。

ABSTRACT

Offline reinforcement learning (RL purely from logged data) is an important avenue for deploying RL techniques in real-world scenarios. However, existing hyperparameter selection methods for offline RL break the offline assumption by evaluating policies corresponding to each hyperparameter setting in the environment. This online execution is often infeasible and hence undermines the main aim of offline RL. Therefore, in this work, we focus on \textit{offline hyperparameter selection}, i.e. methods for choosing the best policy from a set of many policies trained using different hyperparameters, given only logged data. Through large-scale empirical evaluation we show that: 1) offline RL algorithms are not robust to hyperparameter choices, 2) factors such as the offline RL algorithm and method for estimating Q values can have a big impact on hyperparameter selection, and 3) when we control those factors carefully, we can reliably rank policies across hyperparameter choices, and therefore choose policies which are close to the best policy in the set. Overall, our results present an optimistic view that offline hyperparameter selection is within reach, even in challenging tasks with pixel observations, high dimensional action spaces, and long horizon.

研究の動機と目的

• オンライン評価が不可能な設定で、オフラインのハイパーパラメータ選択の動機づけを行う。
• 異なるハイパーパラメータで学習したポリシーのランキング統計量や評価指標を体系的に比較する。
• オフラインRLアルゴリズムの選択、Q推定法、ランキング統計量がポリシーのランキング精度に与える影響を評価する。
• 高次元の領域やピクセル観測を含む設定で、実用的なオフラインのハイパーパラメータ選択を実演する。

提案手法

• 3つのアルゴリズム（BC、CRR、D4PG）にわたって、ハイパーパラメータを変えて複数のオフラインRLポリシーを訓練する。
• オフライン訓練からの critic を用いるか、FQE で critic を再訓練してオフライン評価統計を取得する。
• criticとデータセットDに基づいて、hatV(s0) や Soft OPC のようなランキング統計量を計算する。
• オンラインの真値と比較したSpearman相関、Regret@k、絶対誤差を用いてランキング品質を評価する。
• オフラインポリシー評価（OPE）とオフラインハイパーパラメータ選択（OHS）の指標と結果を比較する。
• オンライン相互作用を避け、オフラインデータからポリシー価値を推定する統計量に基づいてランキング判断を行う。

実験結果

リサーチクエスチョン

• RQ1 オフラインのハイパーパラメータ設定は、ログデータだけを用いて信頼性の高いランキングを得られるか？
• RQ2 オフラインRLアルゴリズムの選択、Q値推定器、ランキング統計量の選択がランキング品質にどのように影響するか？
• RQ3 難易度の高い課題に対して、どの方法の組み合わせが堅牢なオフラインハイパーパラメータ選択をもたらすか？
• RQ4 FQEによる値の再推定は、オフラインハイパーパラメータ選択の信頼性を向上させるか？
• RQ5 高次元の知覚タスクにおけるオフラインハイパーパラメータ選択の限界は何か？

主な発見

• アルゴリズム、Q推定器、ランキング統計量を制御した場合、オフラインのハイパーパラメータ選択は実現可能である。
• ビヘイビアポリシーに近いことを促進するアルゴリズム（例: CRR）は、評価とランキングに有利である。
• FQEによる再推定は、単純なオフライン推定と比べてポリシー値の過大評価を減らす。
• OPEのhatV(s0)統計量は、特にFQEと組み合わせた場合、一般に強力なランキング性能を提供する。難しい課題でより発散するポリシー（例: D4PG）の場合、ランキング品質は低下する。
• OHSは、高次元の行動とピクセル観測を含むタスク全般で、セット内の最良に近いポリシーを特定できる。