[논문 리뷰] Action-Constrained Markov Decision Processes With Kullback-Leibler Cost

Ana Bušić, Sean Meyn|arXiv (Cornell University)|2018. 07. 26.

Climate Change Policy and Economics참고 문헌 1인용 수 8

한 줄 요약

이 논문은 Todorov의 Kullback-Leibler (KL) 비용 프레임워크를 확장하여, 외부 요동으로 인해 제어 동작이 전이 동역학을 완전히 결정할 수 없는 행동 제약 조건이 있는 설정에 적용한다. 제어 동작이 완전히 전이 확률을 결정할 수 없는 상황에서, 스칼라 가중치 파라미터 ζ를 사용해 파arameterized MDP 가족을 구성하고, ODE 기반 방법을 통해 최적 정책을 효율적으로 계산한다. 이는 원래 KL 프레임워크의 고유벡터 구조를 유지하면서 제약 조건이 있는 MDP의 해를 효율적으로 해결할 수 있도록 한다.

ABSTRACT

This paper concerns computation of optimal policies in which the one-step reward function contains a cost term that models Kullback-Leibler divergence with respect to nominal dynamics. This technique was introduced by Todorov in 2007, where it was shown under general conditions that the solution to the average-reward optimality equations reduce to a simple eigenvector problem. Since then many authors have sought to apply this technique to control problems and models of bounded rationality in economics. A crucial assumption is that the input process is essentially unconstrained. For example, if the nominal dynamics include randomness from nature (e.g., the impact of wind on a moving vehicle), then the optimal control solution does not respect the exogenous nature of this disturbance. This paper introduces a technique to solve a more general class of action-constrained MDPs. The main idea is to solve an entire parameterized family of MDPs, in which the parameter is a scalar weighting the one-step reward function. The approach is new and practical even in the original unconstrained formulation.

연구 동기 및 목표

• 기존 KL-비용 MDP는 제어 동작이 제약이 없고 외부 요동(예: 바람, 날씨)을 모델링할 수 없다는 한계를 해결하기 위해.
• 제어 동작이 제한되어 있고 전이 확률을 완전히 결정할 수 없는 행동 제약 조건이 있는 MDP를 효율적으로 해결하기 위한 계산 방법을 개발하기 위해.
• Todorov의 평균 보상 MDP에 기반한 고유벡터 기반 해법을 행동 공간이 제약된 설정으로 일반화하기 위해.
• 예: 무인 항공기(UAV) 항로 계획에서의 확률적 바람 조건과 같은 외부 랜덤성 존재 시 최적 정책을 실용적으로 계산할 수 있도록 하기 위해.
• 분산 제어, 합리적 무지, 수요 디스패치 시스템 등 다양한 응용 분야를 위한 확장 가능한 프레임워크를 제공하기 위해.

제안 방법

• 일반적인 동역학에 대한 KL 발산 비용과 스칼라 가중치를 부여한 유용성 항목을 포함하는 일보보상 함수를 갖는 파arameterized MDP 가족을 수립한다.
• 유용성과 KL 비용을 가중하는 연속적 파라미터 ζ를 도입하여, 여러 MDP를 동시에 해결할 수 있도록 한다.
• 일반 미분방정식(OED) 방법을 사용하여 다양한 ζ 값에 대해 최적 정책과 가치 함수를 계산한다.
• 최적 정책을 페로니-프로베누스 고유벡터 문제에서 유도된 변형 전이 행렬의 해로 구한다.
• 제어 동작이 제약되어 있고 바람이 외부 마코프 체인으로 모델링된 UAV 항로 계획 모델에 이 방법을 적용한다.
• 3차원 격자 상태공간(1,125개 상태)에서 바람 및 장애물 동역학을 수치적으로 검증하여, ζ 변화에 따른 수렴성과 정책 적응을 확인한다.

실험 결과

연구 질문

• RQ1 제어 동작이 전이 확률을 완전히 결정할 수 없는 행동 제약 조건이 있는 시스템으로 KL-비용 MDP 프레임워크를 확장할 수 있는가?
• RQ2 바람이나 날씨와 같은 외부 요동이 존재하는 MDP에서 최적 정책을 효율적으로 계산할 수 있는가?
• RQ3 스칼라 가중치 파라미터 ζ의 변화가 최적 정책과 가치 함수의 구조에 미치는 영향는 어떠한가?
• RQ4 ODE 기반 방법이 제약 조건 하에서도 원래 KL-MDP 프레임워크의 고유벡터 기반 해 구조를 유지하는가?
• RQ5 UAV 항로 계획 과제에서 최적 정책이 확률적 바람과 같은 환경 노이즈에 어떻게 적응하는가?

주요 결과

• ODE 기반 방법은 다양한 ζ 값에 대해 최적 정책을 성공적으로 계산하여, 유용성과 제어 비용 간의 트레이드오프를 효율적으로 탐색할 수 있다.
• ζ = 0일 때는 정책이 명시적 바람 벡터장에 따라 움직이며, ζ = 1과 ζ = 2일 때는 목표 향해 유도되며, ζ가 증가할수록 더 강한 방향성 편향을 보인다.
• 높은 ζ 값에서 변형 전이 행렬 ${\check{P}}_{\zeta}$의 고유값은 0으로 수렴하며, 이는 제어 과정의 수렴 속도 향상과 분산 감소를 의미한다.
• 비용-지출 함수 $J^{*}$ 는 ζ와 함께 느리게 증가하므로, 중간 수준의 제어 노력으로도 높은 성능가능성을 시사한다.
• 1,125개 상태의 고차원 상태공간에서도 계산이 수월하게 유지되며, 수치 실험에서 안정적인 수렴이 관찰되었다.
• 최적 정책은 환경 조건에 적응한다: 목표에서 멀리 떨어진 영역에서는 유리한 바람 조건을 기다리는 방식으로 행동하여, 유한 합리성(bounded rationality)을 나타낸다.