[論文レビュー] Uncertainty Weighted Actor-Critic for Offline Reinforcement Learning

Yue Wu, Shuangfei Zhai+5 more|arXiv (Cornell University)|May 17, 2021

Reinforcement Learning in Robotics参考文献 43被引用数 20

ひとこと要約

本論文では、ドロップアウトに基づく不確実性推定を用いて分布外（OOD）の状態行動ペアを検出することで、ベルマン更新における寄与度を低減する、不確実性重み付きアクターキャリブ（UWAC）を提案する。UWACは、特にスパarsな人間のデモンストレーションデータセットにおいて、SOTAの性能を達成し、訓練の安定性が向上し、OODバックアップに起因する誤差伝搬が低減される。

ABSTRACT

Offline Reinforcement Learning promises to learn effective policies from previously-collected, static datasets without the need for exploration. However, existing Q-learning and actor-critic based off-policy RL algorithms fail when bootstrapping from out-of-distribution (OOD) actions or states. We hypothesize that a key missing ingredient from the existing methods is a proper treatment of uncertainty in the offline setting. We propose Uncertainty Weighted Actor-Critic (UWAC), an algorithm that detects OOD state-action pairs and down-weights their contribution in the training objectives accordingly. Implementation-wise, we adopt a practical and effective dropout-based uncertainty estimation method that introduces very little overhead over existing RL algorithms. Empirically, we observe that UWAC substantially improves model stability during training. In addition, UWAC out-performs existing offline RL methods on a variety of competitive tasks, and achieves significant performance gains over the state-of-the-art baseline on datasets with sparse demonstrations collected from human experts.

研究の動機と目的

• ブートストラップ中に分布外（OOD）の状態行動ペアが原因で生じる不安定さと性能低下を是正すること。
• OODサンプルにおける不正確なQ値推定に起因する破壊的な誤差伝搬を低減し、これは一般的にアクターキャリブ訓練を不安定にする要因である。
• 追加のモデルや損失項を追加せずに、軽量かつ効果的な一般化性能向上手法を開発すること。
• 不確実性推定が、オフラインRLの安定化とスパarsなエキスパートデモンストレーションにおける性能向上に寄与することを示すこと。

提案手法

• 推論時にドロップアウトを用いてモデルの不確実性を推定し、複数回の順伝播における分散を各状態行動ペアの不確実性スコアとして扱う。
• 不確実性が高いターゲットは、学習されたスケーリング係数βを用いて低減される重み付きベルマン更新を適用する。
• 不確実性重み付けを標準的なアクターキャリブ損失に直接統合し、高不確実性ターゲットの影響を低減するようにベルマン損失を変更する。
• 高次元制御タスク（例：Adroit）において安定性を向上させるために、Qネットワークにスペクトル正規化を適用する。
• 不確実性重み付けハイパーパramータβを調整し、不確実性感受性と訓練収束のバランスを取る。
• ベースライン手法（例：BEAR）と同一のネットワークアーキテクチャとハイパーパramータを維持することで、公平な比較を実現する。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトに基づく不確実性推定は、オフラインRLにおける分布外状態行動ペアを効果的に検出できるか？
• RQ2 ベルマン更新において高不確実性ターゲットを低減することで、オフラインRLにおける訓練の安定性と最終的性能が向上するか？
• RQ3 UWACは、特にスパarsな人間デモンストレーションを含むデータセットにおいて、既存のオフラインRL手法を上回る性能を発揮できるか？
• RQ4 不確実性推定手法（例：アンサンブル）の違いに対しても、不確実性重み付け機構は頑健に機能するか？

主な発見

• UWACは、滑らかなリターン曲線とより制御されたQ値ターゲットにより、訓練の安定性が顕著に向上していることが示された。
• 狭い人間デモンストレーションデータセット（relocate-expert）では、ベースラインのBEARがランダム行動を上回れないのに対し、UWACは平均リターンを20%向上させた。
• AntMazeやAdroit環境を含む標準的なオフラインRLベンチマークにおいて、UWACはBEAR や REM といったSOTA手法を上回った。
• ドロップアウトをアンサンブルベースの不確実性推定に置き換えても、UWACは安定した性能を維持し、不確実性推定手法に一般化可能であることが示された。
• 標準偏差または分散による低減では、性能に顕著な差が認められず、不確実性重み付け機構の頑健性が裏付けられた。
• スペクトル正規化は安定性を向上させるが、OOD問題を単独で解決しない。UWACの不確実性重み付けが、狭いデータセットにおける性能向上に不可欠である。