[論文レビュー] Offline RL with No OOD Actions: In-Sample Learning via Implicit Value Regularization

Haoran Xu, Lì Jiāng+5 more|arXiv (Cornell University)|Mar 28, 2023

Data Stream Mining Techniques被引用数 4

ひとこと要約

本稿では、行動データセットに含まれる行動のみを用いて価値関数を暗黙的に正則化することで、分布外（OOD）行動の外挿を回避し、サンプル内オフライン強化学習を可能にする、暗黙的価値正則化（IVR）フレームワークを提案する。このフレームワークにより、スパースQ学習（SQL）と指数的Q学習（EQL）の2つの新しいアルゴリズムが導出され、劣化したデータに対して高いロバスト性を示すスパarsityを導入することで、特にノイズが多い・データが少ない環境でも最先端の性能を達成する。

ABSTRACT

Most offline reinforcement learning (RL) methods suffer from the trade-off between improving the policy to surpass the behavior policy and constraining the policy to limit the deviation from the behavior policy as computing $Q$-values using out-of-distribution (OOD) actions will suffer from errors due to distributional shift. The recently proposed extit{In-sample Learning} paradigm (i.e., IQL), which improves the policy by quantile regression using only data samples, shows great promise because it learns an optimal policy without querying the value function of any unseen actions. However, it remains unclear how this type of method handles the distributional shift in learning the value function. In this work, we make a key finding that the in-sample learning paradigm arises under the extit{Implicit Value Regularization} (IVR) framework. This gives a deeper understanding of why the in-sample learning paradigm works, i.e., it applies implicit value regularization to the policy. Based on the IVR framework, we further propose two practical algorithms, Sparse $Q$-learning (SQL) and Exponential $Q$-learning (EQL), which adopt the same value regularization used in existing works, but in a complete in-sample manner. Compared with IQL, we find that our algorithms introduce sparsity in learning the value function, making them more robust in noisy data regimes. We also verify the effectiveness of SQL and EQL on D4RL benchmark datasets and show the benefits of in-sample learning by comparing them with CQL in small data regimes.

研究の動機と目的

• 分布外（OOD）行動による分布シフトの問題と、ポリシー性能の間で生じる根本的トレードオフを解消すること。
• IQLのようなサンプル内学習手法がなぜうまくいくのかを、統一的な暗黙的価値正則化（IVR）フレームワークに統合することで理解すること。
• 価値正則化を維持しつつ、OOD行動の価値照会を回避する実用的なサンプル内アルゴリズムを開発し、データ量が少ない・ノイジーな状況でのロバスト性を向上させること。
• データセットにノイズや劣化した遷移が含まれる場合、価値関数学習におけるスパarsityが性能向上に寄与することを示すこと。
• 標準的なD4RLベンチマークおよびカスタムの小規模・ノイジーなデータ設定において、CQLやIQLを上回る性能を示すことで、提案手法の有効性を検証すること。

提案手法

• 行動正則化子を用いた制約付き最適化問題として定式化する、暗黙的価値正則化（IVR）フレームワークを提案する。
• IVRにおける最適ポリシーが、行動方策の重み付き混合として閉形式で表現できることを示し、重みは状態・行動価値関数から導出されることを示す。
• 計算が困難な状態価値関数の計算を、データセットサンプルから解ける凸最適化問題に変換し、サンプル内学習を可能にする。
• CQLやAWRの既存の価値正則化技術を統合し、完全なサンプル内学習パラダイムを構築し、SQLおよびEQLを導出する。
• 閾値未満のQ値を持つ行動をフィルタリングすることで、状態価値関数にスパarsityを導入し、ノイズの多いデータに対するロバスト性を向上させる。
• 価値関数をOOD行動の価値推定に依存せずに、データセットに含まれる行動のみで学習させることで、外挿誤差を低減する。

実験結果

リサーチクエスチョン

• RQ1 IQLのようにOOD行動価値照会を避けるサンプル内学習が、なぜ強力な性能を発揮するのか？
• RQ2 サンプル内学習手法の成功を統一的な理論的枠組みで説明できるか？
• RQ3 価値関数学習におけるスパarsityの導入が、ノイズ多め・低品質なデータセットにおけるロバスト性をどのように向上させるか？
• RQ4 状態カバレッジが限られた小規模データ環境では、サンプル内学習がサンプル外学習を上回る性能を発揮するか？
• RQ5 既存の価値正則化技術を、性能を損なわせることなく完全なサンプル内学習フレームワークに適応可能か？

主な発見

• IQLが採用するサンプル内学習パラダイムは、IVRフレームワークによって形式的に解釈可能であり、IQLがハイパーパrameter τ によって制御される正則化強度を持つ暗黙の価値正則化を実行していることが明らかになった。
• IVRフレームワークから導出されたSQLおよびEQLは、ノイズの多いデータ環境でIQLを上回る性能を示す。特に、エキスパートデータ比が5%のWalker2dでは、SQLおよびEQLがほぼエキスパートレベルの性能（≈100の報酬）を達成するが、IQLは急激に性能を落とす。
• 小規模データ環境（例：ハードディッカードを伴うAntMaze）では、CQLはベルマン誤差が急激に増大（最大300.5）し、報酬が0%に低下するが、SQLは低誤差（1.9）と高い報酬（24.2）を維持する。
• AntMazeベンチマークの全難易度レベルにおいて、SQLおよびEQLはCQLより低いベルマン誤差を達成しており、サンプル内学習による価値外挿誤差の低減が示された。
• SQLの価値関数学習に導入されたスパarsityは、低品質な行動をフィルタリングし、特にエキスパートデータが少ない状況でも、ノイズの多い遷移に対してよりロバストであることを示している。
• D4RLおよびAtariベンチマークでも、SQLおよびEQLは最先端の性能を達成しており、多様なオフライン強化学習環境において、暗黙の正則化を伴うサンプル内学習の利点が裏付けられた。