[논문 리뷰] Dynamic Team Theory of Stochastic Differential Decision Systems with Decentralized Noisy Information Structures via Girsanov's Measure Transformation

Charalambos D. Charalambous, N. U. Ahmed|arXiv (Cornell University)|2013. 09. 07.

Opinion Dynamics and Social Influence참고 문헌 60인용 수 10

한 줄 요약

이 논문은 Girsanov의 측도 변환을 사용하여 연속시간 확률적 미분 결정 시스템에 대해 분산된 노이즈 있는 정보 구조를 갖는 정적 팀 이론을 일반화한다. 함수 공간 적분과 확률적 Pontryagin의 최대원리라는 두 가지 방법을 도입하여 전역적 볼록성 하에서 이완된 팀 및 PbP 최적 전략의 존재성을 증명하고, 조건부 해밀토니안과 전진-후행 SDE를 통해 팀 최적성을 확립한다.

ABSTRACT

In this paper, we present two methods which generalize static team theory to dynamic team theory, in the context of continuous-time stochastic nonlinear differential decentralized decision systems, with relaxed strategies, which are measurable to different noisy information structures. For both methods we apply Girsanov's measure transformation to obtain an equivalent dynamic team problem under a reference probability measure, so that the observations and information structures available for decisions, are not affected by any of the team decisions. The first method is based on function space integration with respect to products of Wiener measures, and generalizes Witsenhausen's [1] definition of equivalence between discrete-time static and dynamic team problems. The second method is based on stochastic Pontryagin's maximum principle. The team optimality conditions are given by a "Hamiltonian System" consisting of forward and backward stochastic differential equations, and a conditional variational Hamiltonian with respect to the information structure of each team member, expressed under the initial and a reference probability space via Girsanov's measure transformation. Under global convexity conditions, we show that that PbP optimality implies team optimality. In addition, we also show existence of team and PbP optimal relaxed decentralized strategies (conditional distributions), in the weak$^*$ sense, without imposing convexity on the action spaces of the team members. Moreover, using the embedding of regular strategies into relaxed strategies, we also obtain team and PbP optimality conditions for regular team strategies, which are measurable functions of decentralized information structures, and we use the Krein-Millman theorem to show realizability of relaxed strategies by regular strategies.

연구 동기 및 목표

• 정적 팀 이론을 분산된 노이즈 있는 정보 구조를 갖는 연속시간 확률적 미분 시스템에서의 동적 팀 이론으로 확장한다.
• 정보가 부분적으로 공유되거나 지연되는 비선형 연속시간 시스템에서의 분산된 의사결정 분석을 위한 일반적 프레임워크를 개발한다.
• 액션 공간이 볼록이 아니어도 이완된 및 정규 전략의 존재성과 최적성 조건을 확립한다.
• Witsenhausen의 등가성 개념을 Girsanov의 측도 변환과 융합하여 동적 팀 문제에 적용한다.
• 공 ing 및 네트워크 시스템에서의 복잡한 분산 제어 문제를 해결하기 위한 기초를 제공한다.

제안 방법

• 원래의 확률 측도를 참조 측도로 변환하기 위해 Girsanov의 측도 변환을 적용하여 관측치와 팀의 결정을 분리한다.
• 와이너 측도의 곱 위에서 함수 공간 적분을 사용하여 Witsenhausen의 등가성 원리와 '공통 분모 조건'을 일반화한다.
• 전진 및 후행 확률적 미분 방정식(FBSDE)로 구성된 해밀토니안 시스템을 통해 팀 최적성을 도출하기 위해 확률적 Pontryagin의 최대원리를 활용한다.
• 지연되거나 부분적으로 공유되는 관측치를 포함한 각 팀 구성원의 정보 구조에 대해 조건부 변분 해밀토니안을 정의한다.
• 약한* 위상에서 조건부 확률 측도로 이완 전략을 정의하여, 액션 공간이 볼록이 아니어도 존재성 결과를 도출한다.
• 전역적 볼록성 조건 하에서 Person-by-Person(PbP) 최적성과 팀 최적성 간의 등가성을 확립한다.

실험 결과

연구 질문

• RQ1 정적 팀 이론은 어떻게 분산된 노이즈 있는 정보를 갖는 연속시간 확률적 미분 시스템에서의 동적 팀 문제로 일반화될 수 있는가?
• RQ2 노이즈 있고 지연된 관측이 있는 비선형 연속시간 시스템에서 PbP 최적성이 팀 최적성을 어떻게 함의하는가?
• RQ3 Girsanov의 측도 변환은 어떻게 의사결정에 의존하는 측도를 관측 과정에서 분리하기 위해 체계적으로 적용될 수 있는가?
• RQ4 이러한 시스템에서 이완된 및 정규 분산 전략에 대한 필수 및 충분한 최적성 조건는 무엇인가?
• RQ5 이 프레임워크는 점프 과정에 의해 구동되는 시스템이나 이산시간 유사체로 확장될 수 있는가?

주요 결과

• 논문은 각 팀 구성원의 정보 구조에 맞게 조정된 조건부 변분 해밀토니안을 포함하는 전진 및 후행 확률적 미분 방정식(FBSDE)로 구성된 해밀토니안 시스템을 통해 팀 최적성을 확립한다.
• 전역적 볼록성 하에서 PbP 최적성이 팀 최적성을 함의하며, 이는 복잡한 시스템에서 최적성 검증을 위한 실용적인 경로를 제공한다.
• 측도 이론적 추론을 통해 액션 공간이 볼록이 아니어도 이완된 팀 및 PbP 최적 전략의 존재성이 약한* 위상에서 증명된다.
• Girsanov의 변환을 통해 연속시간에서 '공통 분모 조건'을 체계화함으로써 Witsenhausen의 등가성 개념을 일반화한다.
• Hilbert 공간과 semimartingale 이론에 기반한 기존 결과를 참조하여, Lévy 또는 포아송 점프 과정에 의해 구동되는 시스템으로도 이 프레임워크를 확장할 수 있다.
• 이산 Girsanov 변환과 이산시간 Hilbert 과정에 대한 Riesz 표현 정리를 활용함으로써, 이 접근법은 이산시간 시스템으로도 적응 가능하다.