[논문 리뷰] Mean field for Markov Decision Processes: from Discrete to Continuous Optimization

Nicolas Gast, Bruno Gaujal외 1명|arXiv (Cornell University)|2010. 04. 14.

Advanced Queuing Theory Analysis참고 문헌 17인용 수 10

한 줄 요약

이 논문은 N개의 상호작용하는 객체를 가진 대규모 마르코프 결정과정(MDP)이 평균장 근사에 의해 연속시간 최적제어 문제로 수렴함을 보이며, 그 문제는 해밀턴-자코비-벨리만(HJB) 방정식으로 제어된다. 이는 이산 MDP의 최적 보상이 거의 확실히 연속 HJB 방정식의 해로 수렴함을 증명하며, 이는 연속 최적화를 통한 점차적으로 최적의 정책 설계를 가능하게 하며, 명시적인 오차 한계와 알고리즘 구조를 제공한다.

ABSTRACT

We study the convergence of Markov Decision Processes made of a large number of objects to optimization problems on ordinary differential equations (ODE). We show that the optimal reward of such a Markov Decision Process, satisfying a Bellman equation, converges to the solution of a continuous Hamilton-Jacobi-Bellman (HJB) equation based on the mean field approximation of the Markov Decision Process. We give bounds on the difference of the rewards, and a constructive algorithm for deriving an approximating solution to the Markov Decision Process from a solution of the HJB equations. We illustrate the method on three examples pertaining respectively to investment strategies, population dynamics control and scheduling in queues are developed. They are used to illustrate and justify the construction of the controlled ODE and to show the gain obtained by solving a continuous HJB equation rather than a large discrete Bellman equation.

연구 동기 및 목표

• N개의 상호작용하는 객체를 가진 대규모 마르코프 결정과정(MDP)의 최적 보상이 연속시간 최적제어 문제로 수렴하는 이론적 수렴을 확립하는 것.
• 특히 제어된 상미분방정식(ODE)을 사용한 평균장 근사가 대규모 이산 MDP에 대해 엄밀한 근사로 사용될 수 있음을 정당화하는 것.
• 이산 벨만 방정식을 풀 수 없는 고차원 MDP에 대해 동적계획법의 계산 가능 대체 방법으로, 연속 HJB 방정식을 풀어 연속 최적화를 통한 방법을 제공하는 것.
• 유한한 MDP의 최적 보상과 평균장 HJB 방정식 해 사이의 차이에 대한 명시적 경계를 유도하는 것.
• 연속 HJB 방정식의 해를 바탕으로 유한한 N에 대해 점차적으로 최적의 정책을 구성하는 알고리즘 프레임워크를 개발하는 것.

제안 방법

• 저자들은 이산 MDP의 각 표본 경로를 제어된 동작 하에 평균장 ODE를 푸는 랜덤 궤적과 연결하는 새로운 커플링 기법을 사용한다.
• 확률적 근사 및 학습 이론에서 유도된 경계 기법을 적용하여 이산 시스템과 연속 시스템 간의 이질성을 제어한다.
• 평균장 극한은 대칭적이고 상태에 의존적인 동역학 하에서 시스템의 경험적 점유도 측도를 분석함으로써 유도된다.
• 평균장 ODE의 최적 제어 정책은 연속 해밀턴-자코비-벨리만(HJB) 방정식을 풀어 유도된다.
• 명시적인 알고리즘이 제안된다: HJB 방정식을 수치적으로 풀고, 그 해를 사용하여 원래의 유한한 N MDP에 대한 정책을 구성한다.
• 거의 확실한 수렴과 확률적 수렴을 사용한 이론적 수렴 증명이 이루어지며, 오차 한계는 초기 조건의 편차와 시스템 강도에 따라 달라진다.

실험 결과

연구 질문

• RQ1 평균장 근사를 통해 대규모 이산 MDP의 최적 보상이 연속 HJB 방정식의 해로 수렴하는가?
• RQ2 연속 HJB 방정식의 해를 사용하여 원래의 유한한 N MDP에 대해 점차적으로 최적의 정책을 구성할 수 있는가?
• RQ3 유한한 MDP의 최적 보상과 평균장 HJB 해 사이의 차이에 대해 유도할 수 있는 명시적 경계는 무엇인가?
• RQ4 수렴 행동은 시스템의 강도 I(N)와 초기 상태 분포에 따라 어떻게 달라지는가?
• RQ5 평균장 극한의 최적 정책이 유한한 시스템에 대해 점차적으로 최적일 수 있는 조건은 무엇인가?

주요 결과

• N → ∞ 일 때, 유한한 N MDP의 최적 보상은 평균장 HJB 방정식의 최적 값으로 거의 확실히 수렴한다.
• 유한한 시스템의 최적 보상과 평균장 해 사이의 차이는 B(N, δ^N)로 경계되며, 여기서 δ^N = ||M^N(0) - m_0|| 이고, N이 증가하고 초기 상태가 평균장 초기 조건로 수렴할수록 이 경계는 0으로 수렴한다.
• 평균장 HJB 프레임워크에서 ε-최적 정책은 유한한 시스템에 대해 보상이 최적 유한 보상과 ε + B(N, δ^N) 이내인 정책을 유도한다.
• 이 방법은 투자 전략, 인구 동역학 제어, 큐 시스템 스케줄링의 세 가지 예제에서 검증되었으며, 연속 HJB 방정식을 풀어 계산 비용을 크게 줄이고 근사 최적 결과를 도출하였다.
• 유한 수평에서의 결과는 시간 절단 추론을 통해 유한 수평이 아닌 할인 MDP로 확장 가능하며, 오차는 유한하다.
• 최적 정책 자체의 수렴은 일반적으로 보장되지 않으며, 이는 불연속성과 유일성 부재 가능성 때문이지만, 최적 값의 수렴은 확립되어 있다.