[논문 리뷰] Robust Policy Optimization with Baseline Guarantees

Yinlam Chow, Marek Petrik외 1명|arXiv (Cornell University)|2015. 06. 15.

Reinforcement Learning in Robotics참고 문헌 11인용 수 4

한 줄 요약

이 논문은 MDP 모델이 정확하지 않을 경우 기준 정책보다 나은 성능을 보장하는 강건한 정책 최적화 알고리즘을 제안한다. 강건 최적화 기법을 활용하고 기준 성능을 안전성 제약 조건으로 통합함으로써, 계산 복잡성과 보수성의 균형을 유지하면서도 이론적 성능 보장을 제공한다.

ABSTRACT

Our goal is to compute a policy that guarantees improved return over a baseline policy even when the available MDP model is inaccurate. The inaccurate model may be constructed, for example, by system identification techniques when the true model is inaccessible. When the modeling error is large, the standard solution to the constructed model has no performance guarantees with respect to the true model. In this paper we develop algorithms that provide such performance guarantees and show a trade-off between their complexity and conservatism. Our novel model-based safe policy search algorithms leverage recent advances in robust optimization techniques. Furthermore we illustrate the effectiveness of these algorithms using a numerical example.

연구 동기 및 목표

• MDP 모델이 불완전한 실제 시스템에 학습된 정책을 도입할 때 성능 보장이 필요한 핵심 문제를 해결한다.
• 모델 정확도가 떨어지는 상황에서도 진정한 환경에서 주어진 기준 정책과 동일하거나 더 나은 성능을 보장하는 정책을 보장한다.
• 안전성 보장을 유지하면서 계산 복잡성과 보수성 사이의 트레이드오���을 도모하는 알고리즘을 개발한다.
• 기존 기준 정책 성능을 활용하여 안전한 정책 탐색의 효율성과 실용성을 향상시킨다.
• 모델 불확실성 하에서 최적 정책 대비 성능 손실에 대한 이론적 경계를 제공한다.

제안 방법

• 시스템 식별에서 유도된 오차 함수를 사용해 전이 확률의 불확실성을 반영한 강건 MDP(RaMDP)를 수립한다.
• 불확실성 집합 내 모든 가능한 모델에 대해 최소 기대 수익을 최대화하는 강건 정책 최적화 프레임워크를 도입한다.
• 기준 정책의 성능을 하한으로 사용해 검색 공간을 제약함으로써, 전체 모델 재추정 없이도 안전성을 확보한다.
• 최악의 전이 동역학 하에서 가치 함수를 계산하기 위해 강건 동적 프rogram밍 기법, 특히 강건 벨먼 연산자를 적용한다.
• 상태 점유 빈도와 벨먼 잔차 분석을 활용해 날카운 성능 손실 경계를 유도한다.
• 반복적이고 확장된 강건 MDP 설정을 제안하여 안전성 보장을 유지하면서 정책 탐색을 점진적으로 개선한다.

실험 결과

연구 질문

• RQ1 MDP 모델이 정확하지 않을 경우, 진정한 환경에서 학습된 정책이 기준 정책과 동일하거나 더 나은 성능을 보장할 수 있는 방법은 무엇인가?
• RQ2 모델 불확실성 하에서 안전한 정책 최적화에서 계산 복잡성과 보수성 사이의 트레이드오���은 어떻게 되는가?
• RQ3 기준 정책 성능을 성능 기준점으로 삼음으로써 기존 강건 최적화를 개선할 수 있는가?
• RQ4 모델 불확실성 하에서 강건 정책의 성능 손실에 대해 유도할 수 있는 이론적 경계는 무엇인가?
• RQ5 다양한 강건 MDP 설정(RaMDP, RMDP, 확장된 RMDP 등)은 안전성, 성능, 계산 비용 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 알고리즘은 모델이 정확하지 않을 경우에도 진정한 MDP에서 기준 정책과 동일하거나 더 나은 성능을 보장한다.
• 강건 정책의 성능 손실은 벨먼 잔차와 모델 오차에 비례하는 항으로 경계되며, 오차 벡터의 L1 노름을 기반으로 명시적인 상한이 유도되었다.
• 기준 정책의 알려진 성능을 기준점으로 활용함으로써 표준 강건 방법보다 더 날카운 성능 손실 경계를 확보할 수 있었다.
• 계산 복잡성과 보수성의 트레이드오퍼링은 실험적으로 검증되었으며, 더 복잡한 알고리즘(예: 강건 및 기준 정책 병합)은 더 보수적이지 않으며 더 높은 성능을 낸다.
• 이론적 분석 결과, 강건 정책의 성능 손실은 $\frac{\text{BR}(\pi)}{1-\gamma} + \max_{\pi} \min_{P \in \mathcal{U}} \frac{2\gamma R_{\max}}{(1-\gamma)^2} \|e_{\pi}\|_{1,\pi}$ 로 경계되며, 여기서 BR은 벨먼 잔차이다.
• 수치 실험을 통해 알고리즘이 심각한 모델 불확실성 하에서도 안전한 정책 개선을 달성하고, 진정한 MDP에서 최적 정책에 가까운 성능을 보였음을 확인했다.