[논문 리뷰] Adversarially Trained Actor Critic for Offline Reinforcement Learning

Ching-An Cheng, Tengyang Xie외 2명|arXiv (Cornell University)|2022. 02. 05.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

ATAC는 정책 액터와 적대적으로 훈련된 가치 크리틱 간의 이중자 게임으로서 오프라인 강화학습을 공식화하는 새로운 모델리스 오프라인 강화학습 알고리즘입니다. 상대적 비관성과 노레그레트 최적화를 활용하여, 다양한 하이퍼파rameter 설정에서 행동 정책을 명백히 향상시키며, 최적 정책이 데이터에 포함될 경우 최적 성능을 달성합니다. 이는 D4RL 벤치마크에서 최신 기법들을 능가합니다.

ABSTRACT

We propose Adversarially Trained Actor Critic (ATAC), a new model-free algorithm for offline reinforcement learning (RL) under insufficient data coverage, based on the concept of relative pessimism. ATAC is designed as a two-player Stackelberg game: A policy actor competes against an adversarially trained value critic, who finds data-consistent scenarios where the actor is inferior to the data-collection behavior policy. We prove that, when the actor attains no regret in the two-player game, running ATAC produces a policy that provably 1) outperforms the behavior policy over a wide range of hyperparameters that control the degree of pessimism, and 2) competes with the best policy covered by data with appropriately chosen hyperparameters. Compared with existing works, notably our framework offers both theoretical guarantees for general function approximation and a deep RL implementation scalable to complex environments and large datasets. In the D4RL benchmark, ATAC consistently outperforms state-of-the-art offline RL algorithms on a range of continuous control tasks.

연구 동기 및 목표

• 제한된 데이터 커버리지 하에서 오프라인 강화학습에서 안전하고 일관된 정책 향상 문제를 해결하기 위해.
• 정밀한 튜닝이 필요 없이 광범위한 하이퍼파ram터 범위에서 행동 정책를 명백히 능가하는 방법을 개발하여 위험 감수성 응용 분야에서의 강건성을 확보하기 위해.
• 일반 함수 근사에 대한 이론적 보장을 제공하면서도 복잡한 환경과 대규모 데이터셋으로의 확장성을 유지하기 위해.
• 기존 기법들이 정교한 하이퍼파ram터 튜닝이 필요하거나 과도한 비관성으로 인해 악영향을 받는 한계를 극복하기 위해.

제안 방법

• ATAC는 액터가 선도하고 크리틱이 따라하는 이중자 게임으로서 오프라인 강화학습을 설정하며, 크리틱은 데이터 일관성 있는 상황에서 액터가 행동 정책보다 성능이 열 劣하는 경우를 적대적으로 식별합니다.
• 크리틱은 액터의 성능이 행동 정책보다 열 劣하는 벨먼 일관성 상태를 찾도록 훈련되어 상대적 비관성을 강제합니다.
• 액터는 과거의 크리틱들에 대한 노레그레트 최적화 절차를 통해 업데이트되어 행동 정책보다 향상된 정책로 수렴함을 보장합니다.
• 스토하스틱 1차 최적화 및 두 가지 시간 척도를 활용하여 대규모 데이터셋에서 확장 가능한 딥 강화학습 훈련을 수행합니다.
• CQL의 최소-최대 접근 방식과 대비하여 최대-최소 공식화를 사용함으로써, 낮은 비관성 수준에서도 강건한 정책 향상을 보장합니다.
• 비선형 설정에서의 이론적 일관성과 일반화를 보장하기 위해 함수 근사 가정을 통합합니다.

실험 결과

연구 질문

• RQ1 비관성 제어를 위한 다양한 하이퍼파ram터 값에서 정확한 튜닝 없이 행동 정책를 명백히 능가하는 오프라인 강화학습 알고리즘을 설계할 수 있을까요?
• RQ2 일반 함수 근사 하에서 최적 정책이 데이터에 포함될 경우 학습 일관성과 최적 성능를 달성할 수 있는 방법은 무엇일까요?
• RQ3 게임 이론적 구조—특히 최대-최소 대 최소-최대—는 오프라인 강화학습에서 강건한 정책 향상에 어떤 영향을 미칠까요?
• RQ4 크리틱의 적대적 훈련이 딥 네트워크와 대규모 데이터셋으로의 확장성 유지와 함께 더 강력한 이론적 보장을 이끌 수 있을까요?

주요 결과

• 비관성 제어 하이퍼파ram터 β의 다양한 값에서 ATAC는 행동 정책를 명백히 능가하며, β=0일 경우 안전한 기준점이 됩니다.
• 오프라인 데이터가 최적 정책가 방문한 상태를 포함할 경우 ATAC는 최적 성능을 달성하여 학습 일관성을 입증합니다.
• D4RL 벤치마크에서 ATAC는 연속 제어 과제 전반에서 최신 기법들을 일관되게 능가하며, 특히 도전적인 hopper-medium-expert 환경에서도 뛰어난 성능을 보입니다.
• CQL는 β=0에서 최소-최대 공식화로 인해 안전한 정책 향상을 보장하지 못하지만, ATAC는 모든 β 값에서 강건성을 유지합니다.
• 이론적 분석 결과, 표준 함수 근사 가정 하에서 이중자 게임 내 노레그레트 학습은 명백히 향상된 정책를 이끌 수 있음을 입증합니다.
• 실험 결과 ATAC의 성능는 여러 랜덤 시드에서 안정적이고, 평가된 모든 환경에서 베이스라인 대비 일관된 성능 향상을 보입니다.