[論文レビュー] On the Role of Discount Factor in Offline Reinforcement Learning

Hao Hu, Yiqin Yang+2 more|arXiv (Cornell University)|Jun 7, 2022

Advanced Bandit Algorithms Research被引用数 8

ひとこと要約

本稿は、オフライン強化学習における割引率γの二重的役割を調査し、最適性とサンプル効率のバランスをとる正則化調節子としての役割と、分布シフト下での頑健性を高めるモデルベースの否定的バイアス（pessimism）としての役割を特定している。表形式MDPおよびD4RLベンチマークにおける実験結果から、γがデータ環境にかかわらず性能を顕著に向上させることを確認した。特に低データ量および高カバレッジ設定で顕著な効果を示した。

ABSTRACT

Offline reinforcement learning (RL) enables effective learning from previously collected data without exploration, which shows great promise in real-world applications when exploration is expensive or even infeasible. The discount factor, $γ$, plays a vital role in improving online RL sample efficiency and estimation accuracy, but the role of the discount factor in offline RL is not well explored. This paper examines two distinct effects of $γ$ in offline RL with theoretical analysis, namely the regularization effect and the pessimism effect. On the one hand, $γ$ is a regulator to trade-off optimality with sample efficiency upon existing offline techniques. On the other hand, lower guidance $γ$ can also be seen as a way of pessimism where we optimize the policy's performance in the worst possible models. We empirically verify the above theoretical observation with tabular MDPs and standard D4RL tasks. The results show that the discount factor plays an essential role in the performance of offline RL algorithms, both under small data regimes upon existing offline methods and in large data regimes without other conservative methods.

研究の動機と目的

• オフライン強化学習における割引率γの未だ十分に解明されていない役割、特に保守性および一般化性能への影響を理解すること。
• γがオフラインRLアルゴリズムにおける最適性とサンプル効率のトレードオフにどのように影響するかを分析すること。
• 低γが、モデルベースの不確実性正則化と同様の自然な形での否定的バイアスとして機能するかどうかを検証すること。
• 異なるデータ環境下で、理論的知見を表形式MDPおよび標準的なD4RLベンチマークで実証的に検証すること。
• 他の保守的手法が存在しない状況において、γの選定を最適化する実用的指針を提供すること。

提案手法

• 線形MDPにおけるγの影響を理論的に分析し、一般化性能および頑健性に与える影響を定量化する性能バウンドを導出する。
• 二つの明確な役割の特定: (1) 既存の保守的手法における調節子としてのγ、最適性とサンプル効率のトレードオフを制御する役割; (2) 最悪ケースモデル最大化を通じたモデルベースの否定的バイアスとしてのγの役割。
• γ、データセットサイズ、カバレッジ係数に依存する性能バウンドの導出により、γが誤差率に与える影響を明確化する。
• 理論的知見の妥当性を確認するため、表形式MDPにおける実験的評価を実施し、正則化および否定的バイアス効果を検証する。
• D4RLベンチマークタスク（例: Walker2D, Hopper, HalfCheetah）を用いた評価を行い、データ品質およびカバレッジを変化させた状況で、γの影響を現実世界の条件下で検証する。
• ノイズを含むデータセットを用いて頑健性を評価し、異なるγ値におけるエピソード報酬およびlog Q値を測定する。

実験結果

リサーチクエスチョン

• RQ1 割引率γは、オフラインRLにおける最適性とサンプル効率のトレードオフにどのように影響するか？
• RQ2 低γは、モデルベースのオフラインRLにおける否定的バイアスの一種として解釈可能であり、明示的な不確実性正則化と比較してどのように異なるか？
• RQ3 追加の保守的正則化がない場合、低データ量と高データ量の両環境下でγが性能に与える定量的影響は何か？
• RQ4 γは、オフラインRLにおけるデータセットカバレッジおよび分布シフトとどのように相互作用するか？
• RQ5 他の保守的手法に代わって、γがどの程度オフラインRLアルゴリズムで代替可能となるか？

主な発見

• 割引率γは、オフラインRL性能において極めて重要な役割を果たしており、追加の保守的正則化がなくても顕著な性能向上をもたらす。
• 低データ量環境では、低γが正則化として機能し、限られたデータに対する過学習を軽減し、サンプル効率を向上させる。
• 高データ量かつ良好なカバレッジが得られる環境では、低γがモデルベースの否定的バイアスとして機能し、最悪ケースモデルの最適化により頑健性を高める。
• D4RLタスクにおける実験結果から、最適なγ値はデータ品質およびカバレッジに依存し、分布シフト下でも低γが性能向上に寄与することが示された。
• 理論的バウンドにより、γが一般化誤差に影響することを確認した。特に、不確実性が高く、カバレッジが低い状況では、低γが誤差を低減することが分かった。
• 本研究は、γがハイパーパrameterにとどまらず、保守的オフラインRLの根本的要素であり、明示的な正則化技術の代替または補完として機能可能であることを示した。