[논문 리뷰] Parameterized MDPs and Reinforcement Learning Problems -- A Maximum Entropy Principle Based Framework

Amber Srivastava, Srinivasa M. Salapaka|arXiv (Cornell University)|2020. 06. 17.

Reinforcement Learning in Robotics참고 문헌 53인용 수 14

한 줄 요약

이 논문은 비용 제약 조건 하에 궤적 엔트로피를 최대화함으로써 노이즈가 있는 데이터에서 강건한 정책 학습을 가능하게 하는 최대 엔트로피 원리(MEP) 기반 프레임워크를 제안한다. 이 방법은 라그랑주 승수에 대한 냉각 과정을 통해 탐색과 이용의 균형을 조절하며, Q-학습, 더블 Q-학습, 소프트 Q-학습과 비교해 더 빠른 수렴과 향상된 강건성을 보이며, 5G 소셀 네트워크와 같은 복잡한 시스템에서 민감도 분석 및 최적의 매개변수 발견을 가능하게 한다.

ABSTRACT

We present a framework to address a class of sequential decision making problems. Our framework features learning the optimal control policy with robustness to noisy data, determining the unknown state and action parameters, and performing sensitivity analysis with respect to problem parameters. We consider two broad categories of sequential decision making problems modelled as infinite horizon Markov Decision Processes (MDPs) with (and without) an absorbing state. The central idea underlying our framework is to quantify exploration in terms of the Shannon Entropy of the trajectories under the MDP and determine the stochastic policy that maximizes it while guaranteeing a low value of the expected cost along a trajectory. This resulting policy enhances the quality of exploration early on in the learning process, and consequently allows faster convergence rates and robust solutions even in the presence of noisy data as demonstrated in our comparisons to popular algorithms such as Q-learning, Double Q-learning and entropy regularized Soft Q-learning. The framework extends to the class of parameterized MDP and RL problems, where states and actions are parameter dependent, and the objective is to determine the optimal parameters along with the corresponding optimal policy. Here, the associated cost function can possibly be non-convex with multiple poor local minima. Simulation results applied to a 5G small cell network problem demonstrate successful determination of communication routes and the small cell locations. We also obtain sensitivity measures to problem parameters and robustness to noisy environment data.

연구 동기 및 목표

• 노이즈가 있거나 완전하지 않은 데이터를 가진 MDP에서 순차적 의사결정 문제를 해결하기 위해 탐색의 품질을 향상시키는 것.
• 흡수 상태가 있는가 없는가에 관계없이 무한 수명 MDP에서 최적의 정책을 학습하기 위한 통합 프레임워크를 개발하는 것.
• 노이즈가 있는 환경 데이터와 알려지지 않은 상태/행동 매개변수 존재 조건에서도 강건한 학습을 가능하게 하는 것.
• 문제 매개변수에 대한 민감도 분석을 수행하고 최적의 매개변수 구성 설정을 도출하는 것.
• 비용 함수가 비볼록이고 국소 최솟값이 다수 존재할 수 있는 파라미터화된 MDP로 프레임워크를 확장하는 것.

제안 방법

• 최대 엔트로피 원리(MEP)를 사용하여 MDP를 조합 최적화 문제로 공식화하고, 예상 누적 비용에 대한 제약 조건 하에 궤적 엔트로피를 최대화한다.
• 엔트로피(탐색)와 비용(이용) 사이의 균형을 조절하는 데 사용되는 승수 β를 포함한 라그랑주 릴랙세이션을 도입하며, 고엔트로피의 확률적 정책에서 저엔트로피의 결정적 정책으로의 냉각 과정을 가능하게 한다.
• 역 온도 매개변수 β를 통한 엔트로피 정규화를 포함한 MEP 프레임워크 하에서 상태-행동 가치 함수에 대한 벨먼 유사 갱신 방정식을 유도한다.
• 수렴성 증명을 위해 수축 사상 원리를 사용하여 반복적 정책 갱신 방식의 안정성을 보장한다.
• 파라미터화된 MDP에 프레임워크를 적용하기 위해 정책과 알려지지 않은 매개변수를 동시에 최적화하며, 기울기 기반 갱신을 통해 민감도 분석을 가능하게 한다.
• 유한한 분산을 가진 확률적 반복 갱신 규칙을 사용하여 온건한 정규성 조건 하에서도 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 모델-프리 강화 학습에서 노이즈가 있는 데이터 조건 하에서 수렴성과 강건성을 향상시키기 위해 탐색을 체계적으로 어떻게 향상시킬 수 있는가?
• RQ2 무한 수명 MDP에 대해 흡수 상태가 있는가 없는가에 관계없이 최대 엔트로피 원리가 안정적이고 최적의 정책 학습을 보장하는 데 효과적으로 적용될 수 있는가?
• RQ3 비용 함수가 비볼록이고 국소 최솟값이 다수 존재하는 파라미터화된 MDP에서 제어 정책과 알려지지 않은 시스템 매개변수를 동시에 최적화할 수 있는가?
• RQ4 라그랑주 승수 β는 탐색과 이용을 균형 잡는 데 어떤 역할을 하는가? 그리고 β에 대한 냉각 과정이 학습 성능을 어떻게 향상시키는가?
• RQ5 이 프레임워크는 실제 응용에서 문제 매개변수에 대한 민감도 측정과 노이즈가 있는 데이터에 대한 강건성 제공에 얼마나 기여할 수 있는가?

주요 결과

• 노이즈가 있는 데이터 조건 하에서도 Q-학습, 더블 Q-학습, 소프트 Q-학습과 비교해 더 빠른 수렴과 향상된 강건성을 보이는 MEP 기반 프레임워크를 확보하였다.
• 라그랑주 승수 β에 대한 냉각 과정이 고엔트로피 탐색에서 저엔트로피 이용으로의 성공적인 전이를 가능하게 하여 안정적이고 최적의 정책 학습을 이끌었다.
• 최적의 정책에 대한 시스템 매개변수에 대한 기울기를 계산함으로써 민감도 분석을 가능하게 하여 매개변수의 강건성에 대한 통찰을 제공하였다.
• 5G 소셀 네트워크 시뮬레이션에서, 이 방법은 최적의 통신 경로와 소셀 위치를 성공적으로 도출하여 실제 네트워크 최적화 응용 가능성을 입증하였다.
• 수축 사상 원리를 통한 이론적 수렴성이 입증되었으며, 확률적 갱신에서의 유한한 분산으로 노이즈 있는 관측 조건 하에서도 안정성이 보장되었다.
• 비용 함수가 비볼록이고 국소 최솟값이 다수 존재하는 경우에도 기준 알고리즘 대비 해의 품질과 강건성에서 뛰어난 성능을 보였다.