[논문 리뷰] Safe Policy Improvement by Minimizing Robust Baseline Regret

Marek Petrik, Yinlam Chow외 1명|arXiv (Cornell University)|2016. 07. 13.

Probabilistic and Robust Engineering Design인용 수 68

한 줄 요약

이 논문은 모델 기반 강화 학습에서 안전한 정책 개선을 보장하기 위해 기준 정책에 대한 회복을 최소화하는 강건 최적화 프레임워크를 제안한다. 정확하지만 경계가 있는 역학 모델을 활용함으로써, 학습된 정책과 기준 정책을 적응적으로 조합하며, 모델 불확실성이 큰 경우에도 기존 표준 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

An important problem in sequential decision-making under uncertainty is to use limited data to compute a safe policy, i.e., a policy that is guaranteed to perform at least as well as a given baseline strategy. In this paper, we develop and analyze a new model-based approach to compute a safe policy when we have access to an inaccurate dynamics model of the system with known accuracy guarantees. Our proposed robust method uses this (inaccurate) model to directly minimize the (negative) regret w.r.t. the baseline policy. Contrary to the existing approaches, minimizing the regret allows one to improve the baseline policy in states with accurate dynamics and seamlessly fall back to the baseline policy, otherwise. We show that our formulation is NP-hard and propose an approximate algorithm. Our empirical results on several domains show that even this relatively simple approximate algorithm can significantly outperform standard approaches.

연구 동기 및 목표

• 상태별로 모델 정확도가 변동하는 환경에서 순차적 의사결정에 개선된 정책을 도입하는 데 도전한다.
• 새로운 정책가 기준 정책만큼 최소한의 성능을 보장함으로써 성능 보장을 확보한다.
• 기존 방법이 기준 정책을 완전히 대체하거나 개선을 하지 않는 한계를 극복하며, 특히 비균일한 모델 불확실성 하에서도 유의미하다.
• 상태에 따라 학습된 정책와 기준 정책을 조합하는 원칙적인 접근법을 개발한다.
• 성능 및 계산 복잡도에 대한 이론적 보장을 제공하며, 문제의 NP-난이도를 입증하고 근사 알고리즘을 통한 해법 가능성을 보여준다.

제안 방법

• 알려진 오차 한계를 가진 모델을 사용하여 기준 정책에 대한 부정적 회복을 최소화하는 강건 최적화 문제를 수립한다.
• 학습된 정책과 기준 정책 양쪽의 불확실성을 통합하는 강건한 기준 회복 목표를 도입한다.
• 결정론적 정책이 최적의 회복 최소화를 위해 충분하지 않을 수 있으므로, 해공간에 랜덤화된 정책을 허용한다.
• NP-난이도 문제를 해결하기 위한 근사 알고리즘을 제안하여 실용적 도입을 가능하게 한다.
• 시뮬레이터와 오차 함수를 사용한 모델 기반 접근법을 적용하여 모델 부정확성을 포착함으로써 보수적인 성능 추정을 보장한다.
• 알려진 보상 함수와 경계된 전이 오차를 가진 할당할 수 있는 할인 무한 수렴 계획을 위한 MDP에 방법을 적용한다.

실험 결과

연구 질문

• RQ1 모델 불확실성 하에서도 기준 정책만큼 최소한의 성능을 보장하는 정책 개선 방법을 설계할 수 있는가?
• RQ2 모델 정확도가 상태별로 다를 때, 학습된 정책과 기준 정책을 상태별로 효과적으로 조합할 수 있는가?
• RQ3 불확실한 역학을 가진 MDP에서 기준 정책에 대한 강건한 회복을 최소화하는 문제의 이론적 복잡도는 무엇인가?
• RQ4 제안된 회복 최소화 프레임워크는 표준 모델 기반 및 모델리스 안전 정책 개선 방법과 어떻게 비교되는가?
• RQ5 간단한 근사 알고리즘이 실무에서 표준 방법보다 상당한 성능 향상을 이룰 수 있는가?

주요 결과

• 제안된 강건한 기준 회복 최소화 프레임워크는 결과 정책가 기준 정책만큼 최소한의 성능을 보장한다.
• 이 방법은 상태별 정책 혼합을 가능하게 하여, 모델이 정확한 곳에서는 학습된 정책을 사용하고, 불확실성이 높은 곳에서는 기준 정책으로 되돌리는 방식을 취한다.
• 강건한 기준 회복을 최소화하는 문제는 NP-난이도임이 증명되었으며, 이에 따라 근사 알고리즘의 사용이 필수적이다.
• 심지어 간단한 근사 알고리즘도 실험 도메인인 격자도시와 에너지 차익거래 과제에서 표준 모델 기반 접근법보다 뚜렷한 성능 향상을 이룬다.
• 비관적인 평가 방법에서 흔히 발생하는 지나친 보수적 결정을 피하기 위해, 회복을 직접 최소화함으로써 비관적 및 낙관적 추정치를 비교하는 방식을 피한다.
• 실증 결과는 에너지 차익거래 및 격자도시 환경에서 모델 오차가 상태 간으로 비균일할 경우 특히 뚜렷한 성능 향상을 보여준다.