[논문 리뷰] Soft-Robust Actor-Critic Policy-Gradient

Esther Derman, Daniel J. Mankowitz외 2명|arXiv (Cornell University)|2018. 03. 11.

Reinforcement Learning in Robotics참고 문헌 21인용 수 19

한 줄 요약

이 논문은 전이 모델의 분포를 최적화하여 공격성과 모델 불확실성에 대한 강건성 사이의 균형을 이루는 소프트-강건 액터-크리틱(SR-AC) 알고리즘을 제안한다. 기존의 강건 MDP가 지나치게 경계하는 경향이 있는 것을 방지한다. 이 방법은 수렴 보장을 갖는 온라인 스토하스틱 근사법을 사용하며, 모델 불확실성이 존재하는 연속 제어 환경에서 뛰어난 성능을 보인다.

ABSTRACT

Robust Reinforcement Learning aims to derive optimal behavior that accounts for model uncertainty in dynamical systems. However, previous studies have shown that by considering the worst case scenario, robust policies can be overly conservative. Our soft-robust framework is an attempt to overcome this issue. In this paper, we present a novel Soft-Robust Actor-Critic algorithm (SR-AC). It learns an optimal policy with respect to a distribution over an uncertainty set and stays robust to model uncertainty but avoids the conservativeness of robust strategies. We show the convergence of SR-AC and test the efficiency of our approach on different domains by comparing it against regular learning methods and their robust formulations.

연구 동기 및 목표

• 기존의 강건 강화학습이 지나치게 경계하는 경향을 줄이기 위해 공격성과 강건성을 조율하는 소프트-강건 프레임워크를 도입함으로써 문제를 해결한다.
• 불확실성 집합 위에서 분포 최적화를 통해 소프트-강건성을 통합한 온라인, 확장 가능한 액터-크리틱 알고리즘을 개발한다.
• 불확실성 집합과 분포에 대한 약한 가정 하에 제안된 SR-AC 알고리즘의 이론적 수렴 보장을 제공한다.
• 이전 연구에서 제한되었던 연속 행동 공간에서 소프트-강건 정책의 유효성을 입증한다.
• 이전의 강건 방법의 한계, 즉 오프라인 계산, 확장성 부족, 수렴 증명의 부재를 극복한다.

제안 방법

• SR-AC 알고리즘은 전이 모델의 불확실성 집합 위의 분포를 사용하여, 최악의 시나리오를 평균화하는 소프트-강건 목표를 정의함으로써 과도한 경계성과의 균형을 이룬다.
• 스토하스틱 근사를 사용하여 액터와 크리틱을 온라인 방식으로 업데이트함으로써, 큰 크기의 연속 상태-행동 공간으로의 확장성을 확보한다.
• 정책 그래เดียน트는 불확실성 집합 위의 분포 가족 내에서 최악의 분포 하의 기대 수익을 최적화하는 소프트-강건 공식화를 통해 유도된다.
• 함수 근사를 통해 차원 축소된 특징 공간에서 가치 함수를 표현함으로써, 차원의 저주 문제를 완화한다.
• 스테이션너리 조건과 불확실성 집합 및 정책 공간 간의 호환성 조건을 포함한 약한 가정 하에 수렴을 증명한다.
• 모델 매개변수에 베이지안 사전분포를 사용하지 않고, 불확실성 집합을 고정된 가능한 모델의 집합으로 간주하며, 이 집합 위의 분포를 사용해 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 소프트-강건 프레임워크는 기존의 강건 MDP가 지나치게 경계하는 경향을 줄이면서도 모델 불확실성에 대한 보호 기능을 유지할 수 있는가?
• RQ2 소프트-강건성을 통합한 온라인 액터-크리틱 알고리즘은 모델 불확실성이 존재하는 상황에서도 수렴 보장을 갖출 수 있는가?
• RQ3 소프트-강건성은 표준 및 강건 강화학습 기준선과 비교해 연속 제어 환경에서 어떻게 성능을 발휘하는가?
• RQ4 제안된 방법은 강건성이나 성능을 희생시키지 않고 대규모 및 고차원 상태-행동 공간으로 확장 가능한가?
• RQ5 최악의 시나리오 가정이나 오프라인 계획에 의존하지 않고, 공격적인 탐색과 강건성 사이의 균형을 유지할 수 있는가?

주요 결과

• SR-AC 알고리즘은 불확실성 집합과 분포에 대한 약한 가정 하에 국소 최적 정책으로 수렴하며, 소프트-강건 학습에 대한 이론적 보장을 제공한다.
• 소프트-강건 에이전트는 모델 불확실성이 존재하는 환경에서 표준 및 강건 정책보다 뛰어난 성능을 보이며, 특히 연속 행동 공간에서 두드러진다.
• 기존의 강건 MDP보다 위험과 보상 사이의 더 나은 트레이드오프를 달성하며, 과도한 경계성은 피하면서도 강건성을 유지한다.
• 온라인 학습과 함수 근사를 통해 알고리즘이 계산적으로 확장 가능하여 대규모 도메인에 적용 가능하다.
• 실험 결과는 소프트-강건 정책가 최악의 시나리오에 과도하게 피 Lotting하지 않고도 공격성과 강건성 사이를 효과적으로 조율함을 보여준다.
• 이 프레임워크는 소프트-강건성을 온라인 액터-크리틱 방법에 통합한 최초의 사례로, 수렴 증명과 연속 제어에서의 효용성을 입증했다.