[論文レビュー] OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation

Jongmin Lee, Wonseok Jeon+3 more|arXiv (Cornell University)|Jun 21, 2021

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

OptiDICEは、行動データと最適方策の間の定常分布補正を直接推定することで、分布シフトを軽減する新しいオフライン強化学習アルゴリズムを提案する。価値の過大評価や方策勾配に依存せず、ミニマックス部分問題の閉形式解を用いた凸最適化として問題を定式化し、最小限のハイパーパrameterチューニングでD4RLベンチマークで最先端の性能を達成する。

ABSTRACT

We consider the offline reinforcement learning (RL) setting where the agent aims to optimize the policy solely from the data without further environment interactions. In offline RL, the distributional shift becomes the primary source of difficulty, which arises from the deviation of the target policy being optimized from the behavior policy used for data collection. This typically causes overestimation of action values, which poses severe problems for model-free algorithms that use bootstrapping. To mitigate the problem, prior offline RL algorithms often used sophisticated techniques that encourage underestimation of action values, which introduces an additional set of hyperparameters that need to be tuned properly. In this paper, we present an offline RL algorithm that prevents overestimation in a more principled way. Our algorithm, OptiDICE, directly estimates the stationary distribution corrections of the optimal policy and does not rely on policy-gradients, unlike previous offline RL algorithms. Using an extensive set of benchmark datasets for offline RL, we show that OptiDICE performs competitively with the state-of-the-art methods.

研究の動機と目的

• 行動方策とターゲット方策が異なる場合に生じる分布シフトの深刻な課題に対処すること。
• 従来のオフラインRLアルゴリズムで追加のハイパーパrameterを導入する価値の低減技術に依存する必要を排除すること。
• Q関数や方策勾配を介さずに、定常分布空間において直接方策を最適化する手法を開発すること。
• 根拠に基づいた分布補正推定を用いて、安定的かつサンプル効率の良いオフライン方策最適化を実現すること。

提案手法

• OptiDICEは、行動方策のデータ分布と最適方策の定常分布の間の定常分布補正（SDC）比を推定する。
• サンプリングをターゲット方策から行わないようにするミニマックス最適化問題としてSDC推定を定式化し、安定した学習を可能にする。
• 内部ミニマックス部分問題に対して閉形式解を導出し、全体の問題を制約なしの凸最適化に変換する。
• この凸最適化形式を用いて、ブートストラップによる価値の過大評価を回避しながら、定常分布空間で直接方策を最適化する。
• 2つのポリシー抽出手法（ミニマックスと二乗平均誤差（MSE）最小化）を採用し、両者とも推定されたSDCに基づく。
• ハイパーパrameterに依存しにくい設計となっており、重要度重み付きBCにおけるαなどの1つのハイパーパrameterのみをチューニング対象とする。

実験結果

リサーチクエスチョン

• RQ1 定常分布補正推定は、オフラインRLにおける価値の低減に代わる根拠に基づいた代替手段となり得るか？
• RQ2 Q関数のブートストラップや方策勾配に依存せず、定常分布補正のみに依存する方策最適化手法が、競争力のある性能を達成できるか？
• RQ3 SDC推定の凸最適化形式は、オフラインRLにおける学習安定性とサンプル効率をどのように向上させるか？
• RQ4 OptiDICEは、データ品質が異なる多様なオフラインRLベンチマーク、特に連続的制御タスクに広く一般化できるか？
• RQ5 ポリシー抽出手法の選択（例：ミニマックス対MSE）が最終的な性能とロバストネスに与える影響はいかほどか？

主な発見

• OptiDICEはD4RLベンチマークの14タスク中6つで最高の性能を達成し、CQL や AlgaeDICE といったSOTA手法を上回った。
• halfcheetah-medium-expert環境では、正規化スコア91.1 ± 3.7を達成し、CQL（53.5 ± 13.3）とBEAR（53.4）を上回った。
• walker2d-medium-expertタスクでは、74.8 ± 9.2のスコアを記録し、同じ評価プロトコルを用いた場合にCQL（99.7 ± 7.2）を顕著に上回った。
• 割引率γの異なる条件下でも強力なロバストネスを示し、γ = 0.999およびγ = 0.9999の両方で一貫した性能を維持し、γ = 1.0でも安定した。
• 情報射影（I-Proj）によるポリシー抽出は、重要度重み付きBC（IWBC）よりも優れた結果をもたらした。最適なαハイパーパラメータはタスクごとに異なり、グリッドサーチを用いて選定された。
• ミニマックス部分問題の閉形式解のおかげで、従来手法と比較してハイパーパラメータ選択への感受性が低く、安定した学習が可能になった。