[논문 리뷰] On a General Dynamic Programming Approach for Decentralized Stochastic Control

Serdar Yüksel|arXiv (Cornell University)|2018. 03. 15.

Economic theories and models인용 수 1

한 줄 요약

이 논문은 표준 보렐 공간을 갖는 분산 확률적 제어 문제에 대해 일반적인 동적 프로그래밍 프레임워크를 제시하며, 가측 전략 측도에 기반한 새로운 상태-행동 공식을 사용한다. 이는 적절한 연속성 및 컴팩트성 조건 하에서 최적 팀 정책의 존재를 보장하는 잘 정의된 문제와 새로운 존재성 결과를 수립한다. 특히 독립 측정을 갖는 정적 팀 문제 및 정적 감소를 허용하는 동적 팀 문제에 대해 유의미하다.

ABSTRACT

For sequential stochastic control problems with standard Borel measurement and control action spaces, we introduce a very general dynamic programming formulation, establish its well-posedness, and provide new existence results for optimal policies. Our dynamic program builds in part on Witsenhausen's standard form, but with a different formulation for the state, action, and transition dynamics. Using recent results on measurability properties of strategic measures in decentralized control, we obtain a controlled Markov model with standard Borel state and state dependent action sets. This allows for a well-posed formulation for the controlled Markov model for a general class of sequential decentralized stochastic control in that it leads to well-defined dynamic programming recursions through universal measurability properties of the value functions for each time stage. Through this formulation, new existence results are obtained for optimal team policies in decentralized stochastic control. These state that for a static team with independent measurements, it suffices for the cost function to be continuous in the actions for the existence of an optimal policy under mild compactness conditions. These also apply to dynamic teams which admit static reductions with independent measurements through a change of measure transformation. We show through a counterexample that weaker conditions may not lead to existence of an optimal team policy. In particular, the paper presents existence results which complement and generalize those previously reported.

연구 동기 및 목표

• 표준 보렐 공간을 갖는 순차적 분산 확률적 제어 문제에 대해 잘 정의된 동적 프로그래밍 공식을 개발한다.
• 약한 조건 하에서 분산 확률적 제어 문제의 최적 팀 정책 존재성을 확립한다.
• 가측 전략 측도와 상태에 의존하는 행동 집합을 활용하여 이전의 존재성 결과를 일반화한다.
• 특히 독립 측정을 갖는 정적 팀 문제에서 최적 정책이 존재하는 데 필요한 최소 조건을 규명한다.
• 반례를 통해 연속성 및 컴팩트성 조건이 약해질 경우 최적 정책 존재를 보장하지 못할 수 있음을 시연한다.

제안 방법

• 표준 보렐 상태와 상태에 의존하는 행동 집합을 갖는 제어된 마르코프 모델을 사용해 문제를 공식화한다.
• 값 함수의 보편 가측성 보장을 위해 위트센하우젠의 표준 형태와 다름없이 상태, 행동, 전이 동역학을 재구성한다.
• 분산 제어에서 전략 측도의 가측성 성질에 관한 최근 결과를 활용해 문제의 잘 정의됨을 보장한다.
• 각 시점에서 값 함수의 보편 가측성을 통해 동적 프로그래밍 재귀식을 수립한다.
• 일부 동적 팀 문제를 독립 측정을 갖는 정적 팀 문제로 감소시키기 위해 측도 변화 변환을 적용한다.
• 행동에 대한 비용 함수의 연속성과 약한 컴팩트성 가정을 통해 최적 정책 존재성을 증명한다.

실험 결과

연구 질문

• RQ1 표준 보렐 공간을 갖는 분산 확률적 제어 문제에서 최적 팀 정책이 존재하는 조건은 무엇인가?
• RQ2 일반적인 분산 확률적 제어 문제에 대해 잘 정의된 동적 프로그래밍 공식을 구성할 수 있는가?
• RQ3 정적 팀 문제에서 독립 측정을 갖는 경우, 비용 함수와 행동 공간에 대한 최소한의 가정은 무엇인가? 이는 최적 정책 존재를 보장하는가?
• RQ4 상태에 의존하는 행동 집합과 가측 전략 측도는 동적 프로그래밍의 잘 정의됨에 어떻게 기여하는가?
• RQ5 최적 정책 존재 증명에서 연속성 또는 컴팩트성 조건이 약해질 경우 발생하는 제약은 무엇인가?

주요 결과

• 가측 전략 측도를 사용하여 일반적인 순차적 분산 확률적 제어 문제 클래스에 대해 잘 정의된 동적 프로그래밍 공식이 수립되었다.
• 각 시점에서의 값 함수는 보편 가측성이 확보되어 있어 유효한 동적 프로그래밍 재귀식이 가능하다.
• 독립 측정을 갖는 정적 팀 문제의 경우, 행동에 대한 비용 함수의 연속성과 약한 컴팩트성 조건이 최적 정책 존재를 보장한다.
• 측도 변화 변환을 통해 정적 감소를 허용하는 동적 팀 문제로도 결과가 확장된다.
• 반례를 통해 연속성 및 컴팩트성 조건보다 더 약한 조건은 최적 정책 존재를 보장하지 못할 수 있음을 보여준다.
• 이러한 결과는 기존 분산 확률적 제어 분야의 존재성 결과를 일반화하고 보완한다.