[논문 리뷰] Dynamic Programming Principles for Mean-Field Controls with Learning

Haotian Gu, Xin Guo외 2명|arXiv (Cornell University)|2019. 11. 17.

Reinforcement Learning in Robotics참고 문헌 29인용 수 16

한 줄 요약

이 논문은 상태 및 행동의 분포를 고려하는 새로운 Q-function인 IQ 함수를 도입하여 학습 프레임워크에서 평균장 제어(MFCs)에 대한 동적 프ogram밍 원리(DPP)를 수립한다. IQ 함수는 MFCs의 시간 일관성을 보장하여 안정적인 Q-학습 알고리즘을 가능하게 하며, 수치 실험을 통해 나시 균형 정책보다 10배 높은 누적 보상 수준을 기록함으로써 파레토 최적 해에 수렴함을 입증한다.

ABSTRACT

Dynamic programming principle (DPP) is fundamental for control and optimization, including Markov decision problems (MDPs), reinforcement learning (RL), and more recently mean-field controls (MFCs). However, in the learning framework of MFCs, DPP has not been rigorously established, despite its critical importance for algorithm designs. In this paper, we first present a simple example in MFCs with learning where DPP fails with a mis-specified Q function; and then propose the correct form of Q function in an appropriate space for MFCs with learning. This particular form of Q function is different from the classical one and is called the IQ function. In the special case when the transition probability and the reward are independent of the mean-field information, it integrates the classical Q function for single-agent RL over the state-action distribution. In other words, MFCs with learning can be viewed as lifting the classical RLs by replacing the state-action space with its probability distribution space. This identification of the IQ function enables us to establish precisely the DPP in the learning framework of MFCs. Finally, we illustrate through numerical experiments the time consistency of this IQ function.

연구 동기 및 목표

• 강화학습에서 핵심적인 역할을 하되, 학습 프레임워크 하에서 여전히 엄밀한 증명이 이루어지지 않은 평균장 제어(MFCs)에서의 동적 프로그래밍 원리(DPP)를 엄밀히 수립하는 것.
• 개별 상태가 아닌 상태 및 행동의 분포에 의존하는 특성으로 인해 고전적 Q-함수와 다름을 고려해, MFCs에서 학습이 가능한 Q-함수의 정확한 형태를 규명하는 것.
• 고전적 강화학습을 확장하여 상태-행동 공간이 아닌 확률 분포 공간에서 작동하는 IQ 함수를 도입함으로써 MFCs의 시간 비일관성 문제를 해결하는 것.
• 공급 게임 설정에서의 수치 실험을 통해 IQ 함수의 시간 일관성과 수렴성을 입증하는 것.
• 대규모 의사결정 환경에서 파레토 최적 해(MFC 솔루션)와 나시 균형 해(MFG 솔루션)의 성능을 비교하여, 파레토 최적성의 효율성 우월성을 보여주는 것.

제안 방법

• 시간 일관성을 보장하기 위해 개별 상태가 아닌 상태-행동 분포 공간에서 정의된 새로운 Q-함수인 IQ 함수를 MFCs의 정확한 Q-함수로 도입한다.
• 다음 상태 분포를 이산 확률 공간에 투영함으로써 타당성을 유지하는 투영 기반 학습 알고리즘(알고리즘 2)을 제안하여 수치적 안정성을 확보한다.
• Q-학습 업데이트 규칙을 적용: $ Q_{t+1}\left(\nu, h\right) = (1-l_t)Q_t\left(\nu, h\right) + l_t \times \left(\hat{r}_t + \gamma \max_{h'} Q_t\left(\nu', h'\right)\right) $, 여기서 $ \nu' $ 는 투영된 다음 상태 분포이다.
• 계산 가능성을 확보하기 위해 이산화된 상태-행동 공간 $ \hat{\mathcal{P}}(\mathcal{S}) \times \hat{\mathcal{H}} $ 를 사용하며, $ N_s = 20 $, $ N_a = 20 $, 일정한 학습률 $ l_t = 0.1 $ 을 설정한다.
• Boltzmann 정책 $ \pi(s)(a) \sim \exp(\beta Q(s,a)) $ 를 사용하여 MFC 정책(파레토 최적)과 MFG 정책(나시 균형)을 비교하며, $ \beta = 1 $ 으로 설정한다.
• 100단계의 시간 간격을 가진 공급 게임에서 수치 실험을 수행하여 수렴성과 성능을 검증하며, 누적 보상과 학습된 정책 하의 기대 공급량을 측정한다.

실험 결과

연구 질문

• RQ1 학습이 가능한 평균장 제어에서 고전적 Q-함수는 시간 비일관성으로 인해 실패하는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ2 시간 일관성을 보장하고 안정적인 학습을 가능하게 하는 MFCs에서 학습이 가능한 Q-함수의 정확한 형태는 무엇인가?
• RQ3 제안된 IQ 함수를 사용하여 MFCs의 학습 프레임워크에서 동적 프로그래밍 원리를 엄밀히 수립할 수 있는가?
• RQ4 누적 보상과 공급 행동 측면에서 파레토 최적 MFC 정책과 나시 균형 MFG 정책 간의 성능 차이는 어떻게 되는가?
• RQ5 실제 학습 환경에서 IQ 함수는 수치적으로 안정적이고 수렴 가능한가?

주요 결과

• 공급 게임 실험에서 IQ 함수는 60회의 외부 반복 이내에 오차가 0.01 이내로 수렴하는 안정적 해에 도달한다.
• 1000라운드 동안 MFC 정책은 MFG 정책보다 약 10배 높은 누적 보상을 기록하며, 대규모 시스템에서 파레토 최적성의 효율성 우월성을 입증한다.
• MFC 해에서는 가격이 낮을 때(예: $ \mathbb{E}[a^*(0)] = 0.4 $) 공급량이 줄고, 가격이 높을 때(예: $ \mathbb{E}[a^*(19)] = 3.1 $) 공급량이 증가하여 가격 영향에 대한 최적 반응을 보인다.
• MFG 해는 경쟁적 인centive로 인해 항상 더 높은 기대 공급량(예: $ \mathbb{E}[a^*(19)] = 3.68 $)을 보이며, 전체 시스템 관점에서의 비효율성을 드러낸다.
• Q-학습 알고리즘의 수렴성과 투영된 상태 분포의 안정성으로부터 검증된 바와 같이, IQ 함수는 시간 일관성을 확보한다.
• 단일 에이전트 강화학습을 평균장 설정으로 효과적으로 확장하기 위해 상태 및 행동의 확률 분포 공간에서 작동하는 IQ 함수는 고전적 Q-학습을 일반화한다.