[論文レビュー] Adversarially Trained Actor Critic for Offline Reinforcement Learning

Ching-An Cheng, Tengyang Xie+2 more|arXiv (Cornell University)|Feb 5, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

ATACは、行動方策の性能を広い範囲のハイパーパrameter設定で保証的に向上させるとともに、最適方策がデータにカバーされている場合には最適性能を達成する、モデルフリーなオフライン強化学習アルゴリズムである。この手法は、方策アクトロスと敵対的に訓練された価値クリティックの間で二人称のスタックルベルクゲームとしてオフラインRLを定式化する。相対的で楽観的な最適化と、ノーレグレット最適化を活用することで、ATACは、さまざまなハイパーパrameter設定において、行動方策を保証的に上回り、D4RLベンチマークにおいて最先端の手法を上回る性能を達成する。

ABSTRACT

We propose Adversarially Trained Actor Critic (ATAC), a new model-free algorithm for offline reinforcement learning (RL) under insufficient data coverage, based on the concept of relative pessimism. ATAC is designed as a two-player Stackelberg game: A policy actor competes against an adversarially trained value critic, who finds data-consistent scenarios where the actor is inferior to the data-collection behavior policy. We prove that, when the actor attains no regret in the two-player game, running ATAC produces a policy that provably 1) outperforms the behavior policy over a wide range of hyperparameters that control the degree of pessimism, and 2) competes with the best policy covered by data with appropriately chosen hyperparameters. Compared with existing works, notably our framework offers both theoretical guarantees for general function approximation and a deep RL implementation scalable to complex environments and large datasets. In the D4RL benchmark, ATAC consistently outperforms state-of-the-art offline RL algorithms on a range of continuous control tasks.

研究の動機と目的

• 限られたデータカバレッジ下でのオフライン強化学習における安全で一貫性のある方策改善の課題に取り組む。
• 幅広いハイパーパrameter設定において、行動方策を保証的に上回る手法を開発し、リスク感受性の高い応用分野におけるロバスト性を確保する。
• 一般関数近似の下での理論的保証を提供するとともに、複雑な環境および大規模データセットへのスケーラビリティを維持する。
• ハイパーパラメータの精密なチューニングを要するか、過度に楽観的になる既存手法の限界を克服する。

提案手法

• ATACは、アクトロスがリーダーとして行動し、クリティックがフォロワーとして機能するスタックルベルクゲームとしてオフラインRLを定式化する。クリティックは、アクトロスの性能が行動方策を下回るデータに一貫した状況を敵対的に同定する。
• クリティックは、アクトロスの性能が行動方策を下回るベルマンに一貫した状態を特定するように訓練され、相対的楽観主義を強制する。
• アクトロスは、過去のクリティックを用いたノーレグレット最適化手順により更新され、行動方策を上回る方策への収束を保証する。
• アルゴリズムは、大規模データセットにおけるスケーラブルな深層RL訓練のため、確率的1次最適化と2段階スケールの最適化を採用する。
• CQLのミニマックスアプローチとは対照的に、最大最小の定式化を採用することで、楽観主義レベルが低い場合でもロバストな方策改善を保証する。
• 非線形設定における理論的整合性と一般化を確保するため、関数近似の仮定を組み込む。

実験結果

リサーチクエスチョン

• RQ1 楽観主義の制御を担うハイパーパラメータの幅広い設定において、行動方策を保証的に上回るオフラインRLアルゴリズムを設計できるか？
• RQ2 一般関数近似の下で、最適方策がデータにカバーされている場合に、学習の一貫性と最適性能を達成できるか？
• RQ3 ゲーム理論的構造、特に最大最小とミニマックスの違いが、オフラインRLにおけるロバストな方策改善に与える影響は何か？
• RQ4 クリティックの敵対的訓練が、深層ニューラルネットワークおよび大規模データセットへのスケーラビリティを維持しながら、より強い理論的保証をもたらすか？

主な発見

• ATACは、楽観主義を制御するハイパーパラメータβの広い範囲において、行動方策を保証的に上回る。特にβ=0の状況でも安全なアンカーポイントを提供する。
• オフラインデータが最適方策が訪れる状態をカバーしている場合、ATACは最適性能に達し、学習の一貫性を示す。
• D4RLベンチマークにおいて、ATACは連続制御タスク、特に挑戦的なhopper-medium-expert環境において、最先端のオフラインRLアルゴリズムを一貫して上回る。
• CQLとは異なり、β=0の状況でミニマックス定式化のため安全な方策改善を保証できないが、ATACはすべてのβ値においてロバスト性を維持する。
• 理論的分析により、標準的な関数近似の仮定の下で、スタックルベルクゲームにおけるノーレグレット学習が保証的に改善された方策を導くことが示された。
• 実験的結果により、ATACの性能は複数のランダムシードにおいて安定的かつ優れた結果を示し、評価されたすべての環境でベースラインを一貫して上回る。