[논문 리뷰] Reinforcement Learning for Multi-Objective and Constrained Markov Decision Processes

Ather Gattami, Qinbo Bai외 1명|arXiv (Cornell University)|2019. 01. 23.

Reinforcement Learning in Robotics참고 문헌 23인용 수 9

한 줄 요약

이 논문은 제약 조건이 있는 다중 목적 MDP를 0-합 게임으로 재구성하여, 에이전트가 보상을 최적화하고 상대편이 제약 조건을 이행하는 방식의 새로운 Q-학습 알고리즘을 제안한다. 이 방법은 할인 보상 및 평균 보상 설정 모두에서 최적의 정적 정책으로 수렴함을 보장하며, 시뮬레이션을 통해 근사 최적 해로 수렴하는 것으로 확인되었다.

ABSTRACT

In this paper, we consider the problem of optimization and learning for constrained and multi-objective Markov decision processes, for both discounted rewards and expected average rewards. We formulate the problems as zero-sum games where one player (the agent) solves a Markov decision problem and its opponent solves a bandit optimization problem, which we here call Markov-Bandit games. We extend Q-learning to solve Markov-Bandit games and show that our new Q-learning algorithms converge to the optimal solutions of the zero-sum Markov-Bandit games, and hence converge to the optimal solutions of the constrained and multi-objective Markov decision problems. We provide a numerical example where we calculate the optimal policies and show by simulations that the algorithm converges to the calculated optimal policies. To the best of our knowledge, this is the first time learning algorithms guarantee convergence to optimal stationary policies for the constrained MDP problem with discounted and expected average rewards, respectively.

연구 동기 및 목표

• 모델의 동역학과 제약 함수를 사전에 알지 못하는 제약 조건이 있는 다중 목적 MDP에서 최적의 정책으로 수렴하는 일반적인 강화 학습 알고리즘이 부족한 문제를 해결하기 위해.
• 다중 제약 조건 하에서 할인 보상 및 평균 보상 설정 모두를 다룰 수 있도록 Q-학습을 확장하기 위해.
• 시스템의 동역학이나 제약 함수에 대한 사전 지식 없이도 에이전트의 보상 최적화와 제약 조건 이행을 동시에 수행할 수 있는 학습 프레임워크를 개발하기 위해.
• 선형 프로그래밍 기준과의 비교를 통해 수치 시뮬레이션을 통해 제안된 알고리즘이 최적의 정책으로 수렴하는지를 입증하기 위해.

제안 방법

• 제약 조건이 있는 다중 목적 MDP를 0-합 마르코프-밴딧 게임으로 재구성하여, 에이전트가 마르코프 결정 문제를 해결하고 상대편이 밴딧 스타일 최적화를 통해 제약 조건을 이행하도록 설정한다.
• 상태, 행동, 제약 매개변수 o에 대해 병합된 가치 함수 Q(s, a, o)를 학습하는 확장된 Q-학습 알고리즘을 도입하여, 최소-최대 최적화를 가능하게 한다.
• 이중 최적화 접근법을 사용하여, 에이전트가 보상을 최대화하면서도 가장 악성인 제약 위반을 최소화하도록 하며, 제약 매개변수에 대한 최소-최대 문제로 모델링한다.
• 샘플된 궤적을 사용한 반복적 Q-테이블 업데이트를 수행하며, 제약 값은 10,000개의 궤적을 기반으로 추정하여 통계적 신뢰도를 확보한다.
• 목표 값 δ에 대해 이분 탐색 유사 알고리즘을 적용하여 최적의 타당 보상 수준을 식별하며, 제약 함수의 수렴 여부를 타당성 지표로 사용한다.
• 제안된 알고리즘이 0-합 마르코프-밴딧 게임의 최적 해로 수렴함을 이론적으로 증명하며, 이는 원래의 제약 조건이 있는 MDP의 최적 정책에 해당한다.

실험 결과

연구 질문

• RQ1 시스템의 동역학과 제약 함수를 알지 못하는 제약 조건이 있는 MDP에서 강화 학습 알고리즘이 최적의 정적 정책으로 수렴할 수 있는가?
• RQ2 다중 보상 및 제약 조건을 가진 다중 목적 MDP는 어떻게 재구성하여 기반 학습 최적화를 가능하게 할 수 있는가?
• RQ3 할인 보상 및 평균 보상 설정 모두에서 다중 제약 조건을 다룰 수 있도록 Q-학습을 이론적 수렴 보장을 갖도록 확장할 수 있는가?
• RQ4 제안된 알고리즘이 선형 프로그래밍을 통해 확보한 알려진 최적 해와 비교해 실질적으로 어떻게 성능을 발휘하는가?

주요 결과

• 이론적으로 증명된 바와 같이, 제안된 Q-학습 알고리즘은 할인 보상 및 평균 보상 설정 모두에서 제약 조건이 있는 MDP 문제에 대해 최적의 정책으로 수렴한다.
• 단일 서버 큐 모델에 대한 시뮬레이션 결과, 알고리즘이 타당한 정책을 성공적으로 식별한다: δ = 9.5일 때 모든 제약 조건이 비음수이며 타당성을 나타내고, δ = 9.7일 때 모든 제약 조건이 음수이며 비타당성을 나타낸다.
• 최적의 목표 값은 δ = 9.55와 δ = 9.625 사이에 위치하며, 알고리즘이 105회 반복 후 최고 추정치 9.55에 도달하여 선형 프로그래밍 기준치인 9.62에 매우 가까운 결과를 보였다.
• δ = 9.5일 때 세 개의 제약 조건 모두에서 제약 값이 유사한 수준으로 수렴함을 통해, 알고리즘이 다중 제약 조건을 효과적으로 균형 잡는 능력을 보였다.
• 알고리즘의 성능은 반복 횟수와 샘플 크기에 민감하며, 더 많은 반복과 샘플 수를 기대할수록 최적 값으로의 수렴 정확도가 향상될 것으로 예상된다.
• 제한된 반복(105회)과 샘플 수(10,000개 궤적)에도 불구하고 근사 최적 성능을 달성함으로써, 실질적인 계산 제약 조건 하에서도 강건함을 입증하였다.