[논문 리뷰] Adversarial Model for Offline Reinforcement Learning

Mohak Bhardwaj, Tengyang Xie외 3명|arXiv (Cornell University)|2023. 02. 21.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

ARMOR는 데이터 커버리지에 관계없이 기준 정책의 성능을 떨어뜨리지 않고 어떤 기준 정책이라도 강건하게 향상시킬 수 있도록 적대적 방식으로 마르코프 결정 과정(MDP) 모델을 훈련하는 새로운 모델 기반 오프라인 강화학습 프레임워크이다. 다양한 초모수 설정에서 강건한 정책 향상(Robust Policy Improvement, RPI)을 달성하며, D4RL 벤치마크에서 모델 자유형 및 모델 기반 기준선을 모두 능가하는 최신 기술 수준의 성능을 기록한다.

ABSTRACT

We propose a novel model-based offline Reinforcement Learning (RL) framework, called Adversarial Model for Offline Reinforcement Learning (ARMOR), which can robustly learn policies to improve upon an arbitrary reference policy regardless of data coverage. ARMOR is designed to optimize policies for the worst-case performance relative to the reference policy through adversarially training a Markov decision process model. In theory, we prove that ARMOR, with a well-tuned hyperparameter, can compete with the best policy within data coverage when the reference policy is supported by the data. At the same time, ARMOR is robust to hyperparameter choices: the policy learned by ARMOR, with "any" admissible hyperparameter, would never degrade the performance of the reference policy, even when the reference policy is not covered by the dataset. To validate these properties in practice, we design a scalable implementation of ARMOR, which by adversarial training, can optimize policies without using model ensembles in contrast to typical model-based methods. We show that ARMOR achieves competent performance with both state-of-the-art offline model-free and model-based RL algorithms and can robustly improve the reference policy over various hyperparameter choices.

연구 동기 및 목표

• 기본 정책이 데이터셋에 포함되어 있지 않을 경우 오프라인 강화학습에서 성능 저하 문제를 해결하기 위해, 특히 기준 정책이 데이터에 포함되어 있지 않은 경우에도 성능 향상을 보장하는 것.
• 기본 정책에 대한 비교를 넘어 임의의 기준 정책에 대해 강건한 정책 향상(Robust Policy Improvement, RPI)을 보장할 수 있도록 RPI를 확장하는 것.
• 모델 앙상블을 피하면서도 강력한 성능과 강건성을 유지하는 단일 모델 기반의 확장 가능한 구현을 설계하는 것.
• 기본 정책이 데이터에 포함되어 있지 않더라도 다양한 환경과 초모수 설정에서 기준 정책을 일관되게 향상시킬 수 있음을 검증하는 것.

제안 방법

• ARMOR는 기준 정책에 대해 최악의 성능를 시뮬레이션하기 위해 마르코프 결정 과정(MDP) 모델을 적대적으로 훈련한다.
• 모델 기반의 롤아웃을 사용하여 정책과 기준 정책 간의 추정 성능 차이를 최소화함으로써 정책과 MDP 모델을 함께 최적화한다.
• 초모수 β를 통해 상대적 경계심을 통합하여 성능 향상과 강건성 사이의 균형을 제어한다.
• 정책이 기준 정책에 가까이 시작되도록 잔차 정책 초기화를 사용함으로써 안정성과 RPI를 향상시킨다.
• 모델 앙상블이 필요 없도록 딥러닝을 사용한 엔드 투 엔드 훈련으로 프레임워크를 구현한다.
• λ=0이고 β>0일 때, 일반화된 이민학습(imitation learning)의 특수한 경우로 간주되며, 성능 보장을 갖춘 행동 클로닝을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기본 정책이 데이터셋에 포함되어 있지 않은 경우에도, 오프라인 강화학습 알고리즘이 임의의 기준 정책에 대해 성능 향상을 보장할 수 있는가?
• RQ2 적대적 MDP 훈련이 데이터 커버리지에 관계없이 기준 정책에 대해 강건한 정책 향상(RPI)을 가능하게 하는가?
• RQ3 ARMOR는 다양한 초모수 설정에서도 강건성을 유지하면서 D4RL 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 분포 이탈 상황에서 잔차 정책 초기화는 행동 클로닝 초기화보다 RPI 유지에 더 효과적인가?
• RQ5 기본 정책이 전문가의 시범 정책일 경우, ARMOR는 전문가 수준의 성능을 복원할 수 있는가?

주요 결과

• 모든 테스트된 초모수 β 설정에서 ARMOR는 강건한 정책 향상(RPI)을 달성하여, 기준 정책이 데이터에 포함되어 있지 않더라도 학습된 정책이 기준 정책의 성능을 떨어뜨리지 않음을 보장한다.
• 적절하게 튜닝된 β를 사용할 경우, 기준 정책이 데이터 커버리지에 포함되어 있을 경우 데이터 내 최고의 정책과 경쟁할 수 있다.
• D4RL의 이동 및 조작 작업에서 ARMOR는 최신 기술 수준의 성능을 기록하며, 모델 자유형 및 모델 기반 기준선을 모두 능가한다.
• 잔차 정책 초기화는 모든 환경에서 일관되게 RPI를 가능하게 하지만, 행동 클로닝 초기화는 일부 작업에서 성능 저하를 초래한다.
• λ=0이고 β>0일 경우, ARMOR는 이민학습을 복원하며 전문가 수준의 데이터셋에서 전문가 성능을 정확히 재현함으로써 일반화된 IL에 대한 성능을 확인한다.
• 절단 실험 결과, 기준 정책이 데이터에 포함되어 있지 않은 경우 잔차 정책 초기화가 RPI를 유지하는 데 핵심적임을 보여주며, 행동 클로닝 초기화는 강건성을 유지하지 못함을 확인한다.