[論文レビュー] Instabilities of Offline RL with Pre-Trained Neural Representation

Ruosong Wang, Yifan Wu+2 more|arXiv (Cornell University)|Mar 8, 2021

Formal Methods in Verification参考文献 47被引用数 6

ひとこと要約

本稿は、事前学習されたニューラル表現を用いたオフライン強化学習（RL）の安定性を調査し、強力な特徴量であっても中程度の分布シフト下では顕著な誤差拡大が生じることを示している。強力な表現を備えたとしても、Fitted-Q Iteration（FQI）は最小限の分布シフトを越えて一般化できないため、サンプル効率の良いオフラインRLには、教師あり学習で十分な表現条件よりも強い表現条件が必要であることが示唆される。

ABSTRACT

In offline reinforcement learning (RL), we seek to utilize offline data to evaluate (or learn) policies in scenarios where the data are collected from a distribution that substantially differs from that of the target policy to be evaluated. Recent theoretical advances have shown that such sample-efficient offline RL is indeed possible provided certain strong representational conditions hold, else there are lower bounds exhibiting exponential error amplification (in the problem horizon) unless the data collection distribution has only a mild distribution shift relative to the target policy. This work studies these issues from an empirical perspective to gauge how stable offline RL methods are. In particular, our methodology explores these ideas when using features from pre-trained neural networks, in the hope that these representations are powerful enough to permit sample efficient offline RL. Through extensive experiments on a range of tasks, we see that substantial error amplification does occur even when using such pre-trained representations (trained on the same task itself); we find offline RL is stable only under extremely mild distribution shift. The implications of these results, both from a theoretical and an empirical perspective, are that successful offline RL (where we seek to go beyond the low distribution shift regime) requires substantially stronger conditions beyond those which suffice for successful supervised learning.

研究の動機と目的

• 事前学習されたニューラル表現を用いた場合のオフラインRL手法の安定性を実験的に評価すること。
• 事前学習による強力な表現が、分布シフト下での誤差拡大を軽減できるかどうかを調査すること。
• データ分布がターゲット方策と著しく異なる場合のオフラインRLの実用的限界を評価すること。
• 同じ事前学習済み特徴量を用いて、ランダム方策や低パフォーマンス方策のデータ収集方策を比較すること。
• 正則化とデータミックス戦略がオフラインRLの安定性に与える影響を同定すること。

提案手法

• 著者らは、6つのOpenAI Gym環境で事前学習されたニューラルネットワークの特徴量を用いた関数近似によるFitted-Q Iteration（FQI）を用いる。
• オフラインデータセットは、ターゲット方策の軌道とランダム方策または低パフォーマンス方策の軌道を組み合わせることで構築され、分布シフトを模擬する。
• FQI更新を介してQ値を推定するために正則化付き最小二乗回帰を採用する：$\hat{\theta} = (\Phi^T \Phi + \lambda I)^{-1} \Phi^T r$。
• 性能評価は、5つのランダムシード平均の価値関数推定の平均二乗誤差（MSE）を用いる。
• 実験では、ランダム方策軌道の割合と正則化ハイパーパrameter $\lambda$ を変化させ、安定性への影響を調査する。
• 追加のアブレーションでは、一般化行動を比較するためのベースラインとしてランダムフォーリエ特徴量を用いる。

実験結果

リサーチクエスチョン

• RQ1 中程度の分布シフト下でも、事前学習されたニューラル表現がオフラインRLを安定化できるか？
• RQ2 データ分布がターゲット方策から逸脱するにつれて、FQIの性能はどのように低下するか？
• RQ3 ランダム方策軌道の割合を増やすことで、オフラインRLにおける一般化性能は向上するか、悪化するか？
• RQ4 正則化が、事前学習済み特徴量を用いたオフラインRLにおける誤差拡大をどの程度軽減できるか？
• RQ5 分布シフト下での安定性において、事前学習済み特徴量はランダムフォーリエ特徴量と比べてどの程度優れているか？

主な発見

• 事前学習されたニューラル表現を用いても、データ分布がターゲット方策から逸脱するとFQIは顕著な誤差拡大を示し、中程度の分布シフト下で不安定であることが判明した。
• Ant-v2では、2倍のランダム軌道追加によりMSEが44.03 ± 8.98（ベースライン）から72.80 ± 16.87に向上したが、依然として極めて不安定であった。
• Hopper-v2では、2倍のランダム軌道追加によりMSEが2.18 ± 1.14から16.86 ± 2.84に上昇し、分布シフト下での誤差増大が顕著に観察された。
• ランダム軌道の追加は一貫して一般化性能を悪化させ、データの多様性そのものがオフラインRLを安定化させないことを示唆した。
• 正則化（$\lambda$）は、特にAnt-v2 や Walker2d-v2 といった高次元環境では、安定化にほとんど効果を示さなかった。
• 事前学習済み特徴量を用いたLSTDも同様の不安定パターンを示し、Ant-v2ではMSEが44.03 ± 8.98から72.80 ± 16.87に上昇した。これは、複数の手法に共通する傾向を確認した。