[論文レビュー] RORL: Robust Offline Reinforcement Learning via Conservative Smoothing

Rui Yang, Chenjia Bai+4 more|arXiv (Cornell University)|Jun 6, 2022

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

RORLは、データセット分布に近い状態における方策および価値関数に対する滑らかさの正則化を導入することで、観測の摂動に対して高い耐性を示す、オффライン強化学習のための新規な保守的スムージング手法を提案する。また、分布外の状態に対しては懸念の強い価値推定を用いることで、価値関数の保守的性質を維持しつつ、観測摂動に対する耐性を向上させた。RORLはD4RLベンチマークで最先端の性能を達成し、敵対的攻撃に対しても優れた耐性を示す。線形MDPにおいては、先行研究よりタイトな理論的サブオプティマルティーバインドを達成した。

ABSTRACT

Offline reinforcement learning (RL) provides a promising direction to exploit massive amount of offline data for complex decision-making tasks. Due to the distribution shift issue, current offline RL algorithms are generally designed to be conservative in value estimation and action selection. However, such conservatism can impair the robustness of learned policies when encountering observation deviation under realistic conditions, such as sensor errors and adversarial attacks. To trade off robustness and conservatism, we propose Robust Offline Reinforcement Learning (RORL) with a novel conservative smoothing technique. In RORL, we explicitly introduce regularization on the policy and the value function for states near the dataset, as well as additional conservative value estimation on these states. Theoretically, we show RORL enjoys a tighter suboptimality bound than recent theoretical results in linear MDPs. We demonstrate that RORL can achieve state-of-the-art performance on the general offline RL benchmark and is considerably robust to adversarial observation perturbations.

研究の動機と目的

• センサーノイズや敵対的攻撃などの観測摂動に対して、既存の保守的オフライン強化学習手法に見られる耐性の欠如を是正すること。
• 分布外状態における価値関数および方策学習における、保守的性質と滑らかさのトレードオフを克服すること。
• 分布外の行動に対する過大評価を低く保ちつつ、微小な観測変動に対しても方策の安定性を確保する手法の開発。
• 線形MDPにおいて、先行研究よりタイトなサブオプティマルティーバインドを有する理論的根拠に基づく不確実性評価指標の構築。
• 標準的なオフライン強化学習ベンチマークおよび敵対的評価設定において、性能と耐性の両方を向上させること。

提案手法

• データセットサポート近傍の状態における方策および価値関数に滑らかさの正則化項を導入し、微小な観測摂動に対する耐性を向上させる。
• 分布外状態に対して懸念の強い価値推定（悲観的ブートストラップ）を適用し、過大評価を防止する。
• 方策スムージングと価値関数スムージングを組み合わせた、分布外認識の正則化を備えた新規な保守的スムージング技術を提案する。
• 分布外価値ペナルティ、方策スムージング、Q関数スムージングをバランスさせるマルチコンポonent損失関数を統合し、耐性に最適化されたハイパーパrameterを調整する。
• 計算コストを削減しつつ性能を維持するため、適応的スムージングスケールを備えたアンサンブルQネットワークを活用する。
• 理論的分析により、RORLは線形MDPにおいて先行研究よりタイトなサブオプティマルティーバインドを達成することが示された。これは、保守的かつ滑らかな学習目的の有効性を裏付けた。

実験結果

リサーチクエスチョン

• RQ1 性能を損なうことなく、観測における小さな敵対的摂動に対して、保守的オフライン強化学習手法を耐性させることは可能か？
• RQ2 データセット分布近傍での方策および価値関数の明示的スムージングは、保守的性質を維持しつつ耐性を向上させるか？
• RQ3 統一された正則化フレームワークにより、従来の手法よりも分布外状態における滑らかさと過大評価のトレードオフをより効果的に制御できるか？
• RQ4 RORLは、クリーンな状態と摂動を加えた状態の両方の評価条件下で、標準的なオフライン強化学習ベンチマークにおいてより優れた一般化性能と耐性を達成するか？
• RQ5 線形MDPにおいて、RORLの保守的スムージングの理論的利点は、サブオプティマルティーバインドの観点でどのように現れるか？

主な発見

• RORLはD4RLベンチマークで最先端の性能を達成し、EDAC や SAC-10 といったアンサンブルベースのベースラインを上回った。
• AntMazeタスクでは、antmaze-umazeで96.7 ± 1.9、antmaze-umaze-diverseで90.7 ± 2.9、antmaze-medium-playで76.3 ± 2.5のスコアを達成し、IQL+smoothing や CQL を上回った。
• 摂動スケールが0.05までの敵対的攻撃において、6つの連続制御タスクで全範囲で最高の性能を維持した。EDAC や SAC-10 は摂動下で著しく性能を低下させたが、RORLはその影響を抑えた。
• RORLはベンチマーク評価において優れた耐性を示し、さまざまな攻撃タイプとスケールに対しても性能の安定性が保たれた。これは、実世界応用における強力な実用性を示している。
• 理論的分析により、RORLは線形MDPにおいて、Bai et al. (2021) よりもタイトなサブオプティマルティーバインドを達成することが確認された。これは、保守的かつ滑らかな学習目的の有効性を裏付けた。
• アブレーションスタディの結果、OOD損失と方策スムージング損失が最も重要であることが判明した。一方、Qスムージングは寄与度は低いが計算コストを増加させるため、効率的なチューニング戦略の導入が推奨された。