[論文レビュー] Confidence-Conditioned Value Functions for Offline Reinforcement Learning

Joey Hong, Aviral Kumar+1 more|arXiv (Cornell University)|Dec 8, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、評価時に動的で柔軟な保守性を実現するため、信頼水準に応じた価値関数を学習する「信頼水準条件付き価値学習（CCVL）」を提案する。Q値を所望の信頼水準δに条件づけることで、CCVLはオンライン観測に基づいてポリシーの過小評価（pessimism）を動的に調整可能であり、CQLのような固定された保守的アプローチに比べ、サンプル効率と最終的パフォーマンスの両面で顕著な向上を達成した。

ABSTRACT

Offline reinforcement learning (RL) promises the ability to learn effective policies solely using existing, static datasets, without any costly online interaction. To do so, offline RL methods must handle distributional shift between the dataset and the learned policy. The most common approach is to learn conservative, or lower-bound, value functions, which underestimate the return of out-of-distribution (OOD) actions. However, such methods exhibit one notable drawback: policies optimized on such value functions can only behave according to a fixed, possibly suboptimal, degree of conservatism. However, this can be alleviated if we instead are able to learn policies for varying degrees of conservatism at training time and devise a method to dynamically choose one of them during evaluation. To do so, in this work, we propose learning value functions that additionally condition on the degree of conservatism, which we dub confidence-conditioned value functions. We derive a new form of a Bellman backup that simultaneously learns Q-values for any degree of confidence with high probability. By conditioning on confidence, our value functions enable adaptive strategies during online evaluation by controlling for confidence level using the history of observations thus far. This approach can be implemented in practice by conditioning the Q-function from existing conservative algorithms on the confidence.We theoretically show that our learned value functions produce conservative estimates of the true value at any desired confidence. Finally, we empirically show that our algorithm outperforms existing conservative offline RL algorithms on multiple discrete control domains.

研究の動機と目的

• 既存の保守的オフラインRL手法が過小評価の固定化に依存するという限界を解消すること。
• 固定されたオフラインチューニングではなく、観測データに基づいてオンライン評価時に保守性を動的に適応させること。
• 任意の所望の信頼水準で保守的推定を提供する価値関数を学習する、実用的かつ理論的根拠を持つ手法を開発すること。
• リアルタイムの観測履歴に基づいてリスク許容度を調整できるようにすることで、オフラインRLにおけるサンプル効率と最終的パフォーマンスを向上させること。
• 両方の下限・上限推定値を学習することで、下限推定による保守的行動と上限推定による優れた探索を組み合わせたオンラインファインチューニングを可能にする。

提案手法

• 状態行動ペアから信頼水準δに条件づけられたQ値を出力する信頼水準条件付き価値関数を提案し、δは真のリターンの下限推定である確率を表す。
• 信頼水準に配慮した正則化目的関数を強制することで、すべてのδに対して一括して保守的Q値を学習する、新しいベルマンバックアップを導出する。
• パラメータ共有と分布的RL風のヘッドアーキテクチャを用いてQネットワークにδを条件づけ、エンドツーエンドの学習を可能にする。
• 推論時に観測履歴に基づいて信頼水準δを動的に変更し、過小評価が過剰であると示唆される場合には保守性を低減できるようにする。
• フレームワークを拡張し、下限推定と上限推定の両方を学習することで、より優れた探索を実現するオンラインファインチューニングを可能にする。
• CQL風の正則化を用いることで、反探索ボーナスに依存せず、すべての信頼水準で保守的推定を保証する。

実験結果

リサーチクエスチョン

• RQ1 オフラインRLポリシーは、固定されたハイパーパrameterに依存せず、観測データに基づいて評価中に保守性のレベルを動的に調整できるか？
• RQ2 信頼水準に条件づけられた価値関数を学習することは、固定保守的アプローチに比べてオフラインRLでより優れたパフォーマンスをもたらすか？
• RQ3 信頼水準に適応するポリシーは、低データ環境下でサンプル効率と最終的パフォーマンスを向上させられるか？
• RQ4 提案手法は理論的に整合しており、表形式設定下で任意の信頼水準で保守的推定を保証するか？
• RQ5 信頼水準条件付きフレームワークは、より優れた探索を実現するオンラインファインチューニングをサポートできるか？

主な発見

• CCVLはAtari環境の3つのデータレジーム（1%、5%、10%）において、CQLおよびREMをすべて上回り、1%データでは最終的な正規化IQMが59.1を達成した（CQLは56.9）。
• 5%データではCCVLが110.1の正規化IQMを達成し、CQL（105.7）およびFixed-CCVL（105.9）を顕著に上回り、適応的信頼水準の利点を示した。
• オンラインファインチューニングでは、5つのAtariゲームのうち4つでCCVLが最高の最終パフォーマンスを記録し、Asterixでは159.5のスコア（CQLは52.7）を達成し、追加のオンラインデータによる顕著な改善を示した。
• アブレーションスタディにより、信頼水準の条件づけと適応の両方が不可欠であることが確認された。CCVLは、適応的信頼水準制御を欠いたFixed-CCVLおよびAEVLを上回った。
• CCVLのパフォーマンスはシードに強く依存せず、95%ブートストラップ信頼区間でも、特に低データレジームでベースラインを一貫して上回った。
• 下限推定と上限推定の両方を学習することで、CCVLは効果的なオンラインファインチューニングを可能にした。これにより、オフラインでは保守的行動を、オンラインでは楽観的探索を実現できる。