[논문 리뷰] Robust Reinforcement Learning using Offline Data

Kishan Panaganti, Zaiyan Xu외 2명|arXiv (Cornell University)|2022. 08. 10.

Adversarial Robustness in Machine Learning인용 수 15

한 줄 요약

이 논문은 오직 오프라인 데이터만을 사용하여 모델 불확실성에 강건한 정책을 학습하는 새로운 오프라인 강화학습 알고리즘인 Robust Fitted Q-Iteration (RFQI)를 제안한다. 오프라인 강건 RL에서의 과제—비편향 추정 및 불확실성 집합에 대한 최소화—를 해결함으로써 RFQI는 표준 FQI가 1400에 머무르는 동안 3200까지의 에피소드 보상 성능을 달성하여 MuJoCo 벤치마크에서 뛰어난 일반화 능력을 입증한다.

ABSTRACT

The goal of robust reinforcement learning (RL) is to learn a policy that is robust against the uncertainty in model parameters. Parameter uncertainty commonly occurs in many real-world RL applications due to simulator modeling errors, changes in the real-world system dynamics over time, and adversarial disturbances. Robust RL is typically formulated as a max-min problem, where the objective is to learn the policy that maximizes the value against the worst possible models that lie in an uncertainty set. In this work, we propose a robust RL algorithm called Robust Fitted Q-Iteration (RFQI), which uses only an offline dataset to learn the optimal robust policy. Robust RL with offline data is significantly more challenging than its non-robust counterpart because of the minimization over all models present in the robust Bellman operator. This poses challenges in offline data collection, optimization over the models, and unbiased estimation. In this work, we propose a systematic approach to overcome these challenges, resulting in our RFQI algorithm. We prove that RFQI learns a near-optimal robust policy under standard assumptions and demonstrate its superior performance on standard benchmark problems.

연구 동기 및 목표

• 학습 환경과 테스트 환경 간 모델 파라미터 불확실성으로 인해 다를 경우 강건한 정책을 학습하는 과제를 해결한다.
• 온라인 상호작용 없이 사전 수집된 데이터 세트에서만 작동하는 오프라인 강화학습 알고리즘을 개발하며, 모델 변형에 강건성을 유지한다.
• 오프라인 강건 RL의 핵심 과제—비편향 추정, 불확실성 집합에 대한 최적화, 데이터의 분포 이탈—을 극복한다.
• 기본 가정 하에 근사 최적의 강건 정책 학습을 위한 이론적 보장을 제공하며, Fitted Q-Iteration를 강건 MDP 프레임워크로 확장한다.
• FQI 및 TD3와 같은 비강건 오프라인 강화학습 기준선 대비 표준 MuJoCo 벤치마크에서 뛰어난 강건성을 입증한다.

제안 방법

• 불확실성 집합 내에서 최악의 모델에 대해 성능을 최적화해야 하는 강건 MDP(강건 마르코프 결정 과정)를 사용하여 강건 강화학습 문제를 수립한다.
• Q-값 갱신 중 불확실성 집합에 대한 최소화 최적화를 통합한 Fitted Q-Iteration(FQI)의 확장인 RFQI를 제안한다.
• 큰 상태 공간을 다루기 위해 함수 근사 기법을 사용하여 연속 제어 과제로의 확장성을 확보한다.
• 오프라인 데이터로부터 불확실성 집합을 추정하고 분포 이탈에도 불구하고 비편향 가치 함수 갱신을 수행하기 위한 체계적인 접근법을 도입한다.
• 안정적이고 비편향된 학습을 위해 격자 탐색을 통해 튜닝된 강건성 하이퍼파라미터 ρ를 적용하며, Hopper에서는 ρ=0.5, Half-Cheetah에서는 ρ=0.3를 사용한다.
• 온라인 롤아웃 없이도 안전하고 효율적인 구현이 가능한 오프라인 데이터 세트(D4RL 등)를 활용하여 정책을 학습한다.

실험 결과

연구 질문

• RQ1 온라인 데이터 수집 없이도 오프라인 강화학습 알고리즘이 모델 파rameter 변형에 대해 강건한 성능을 달성할 수 있는가?
• RQ2 불확실성 집합에 대한 최소화 최적화가 오프라인 FQI에 효과적으로 통합되어 안정적이고 비편향된 학습을 보장할 수 있는가?
• RQ3 오프라인 데이터의 품질과 대표성은 학습된 정책의 강건성에 어떤 영향을 미치는가?
• RQ4 다양한 환경적 변형 하에서 RFQI는 FQI 및 TD3와 같은 비강건 오프라인 기준선 대비 어떻게 비교되는가?
• RQ5 강건성이 실패하는 조건는 무엇이며, 데이터 커버리지는 강건 정책 학습의 제한 또는 가능성을 어떻게 좌우하는가?

주요 결과

• Hopper 환경에서, RFQI는 30%의 joint_damping 변형 하에서도 3000의 에피소드 보상을 달성했고, FQI는 단지 1400으로 떨어졌다.
• Half-Cheetah에서, RFQI는 50% 이상의 actuator_ctrlrange 변형 하에서도 약 5500의 보상을 유지했지만, FQI는 4300으로 감소했다.
• Hopper에서, RFQI는 중력, joint_damping, joint_frictionloss 등 모든 테스트 변형에 대해 성능 저하가 부드럽게 발생하며 FQI를 항상 앞섰다.
• D4RL 벤치마크 데이터 세트에서, RFQI는 여러 모델 파라미터에 대해 강건성을 입증했으며, FQI가 급격히 악화되는 동안도 안정적인 성능 유지를 보였다.
• 어떤 경우(예: Hopper의 actuator_ctrlrange 및 thigh_joint_stiffness)에서는 RFQI와 FQI가 유사한 성능을 보였는데, 이는 특정 파라미터에 대해 데이터 커버리지의 한계를 시사한다.
• RFQI의 강건성은 오프라인 데이터 품질에 민감하며, 변형된 파라미터를 대표하지 못하는 데이터일 경우 성능 향상이 감소함을 보여주며, 데이터 의존성의 중요성을 강조한다.