[논문 리뷰] Centralized Versus Decentralized Team Games of Distributed Stochastic Differential Decision Systems with Noiseless Information Structures-Part I: General Theory

Charalambos D. Charalambous, N. U. Ahmed|arXiv (Cornell University)|2013. 02. 14.

Stochastic processes and financial applications참고 문헌 38인용 수 9

한 줄 요약

이 논문은 분산된 소음이 없는 정보 구조를 가진 비선형 분산 확률 미분 시스템에서 팀 최적 및 개인별 최적 제어의 필수 및 충분한 최적성 조건을 수립한다. 변분법과 반마르팅게일 표현 정리(semi-martingale representation theorem)를 사용하여, 일반적인 제어 전략과 유연한 제어 전략 모두에서 상호 연결된 정방향 및 역방향 확률 미분 방정식(SDE)으로 구성된 해밀토니안 시스템을 유도하며, 고전적 확률 최대 원리(stochastic maximum principle)를 손실 없이 분산된 환경으로 확장한다.

ABSTRACT

Decentralized optimization of distributed stochastic differential systems has been an active area of research for over half a century. Its formulation utilizing static team and person-by-person optimality criteria is well investigated. However, the results have not been generalized to nonlinear distributed stochastic differential systems possibly due to technical difficulties inherent with decentralized decision strategies. In this first part of the two-part paper, we derive team optimality and person-by-person optimality conditions for distributed stochastic differential systems with different information structures. The optimality conditions are given in terms of a Hamiltonian system of equations described by a system of coupled backward and forward stochastic differential equations and a conditional Hamiltonian, under both regular and relaxed strategies. Our methodology is based on the semi martingale representation theorem and variational methods. Throughout the presentation we discuss similarities to optimality conditions of centralized decision making.

연구 동기 및 목표

• 분산된 정보 구조를 가진 분산 확률 미분 시스템에서 팀 최적 및 개인별 최적의 체계적 프레임워크를 개발한다.
• 이전의 이산 시간 설정에서의 제약을 극복하여, 소음이 없는 정보 구조 하에서 고전적 확률 최대 원리를 분산된 환경으로 확장한다.
• 비선형 시스템에서 일반 제어 전략과 유연한 제어 전략 모두에 대해 필수 및 충분한 최적성 조건을 수립한다.
• 적절한 변분법 및 반마르팅게일 도구를 사용할 경우, 고전적 최적화 이론이 분산 시스템에 적용 가능하다는 것을 보여준다.
• 제2부에서 선형 및 비선형 예제에 대해 닫힌 형태의 해를 도출하기 위한 이론적 기초를 마련한다.

제안 방법

• 일반적인 정보 구조 하에서 시스템 및 양면 과정의 역학을 기술하기 위해 반마르팅게일 표현 정리를 적용한다.
• 제어 전략의 변형을 통한 페르터베이션을 이용해 일阶 최적성 조건을 유도하기 위해 변분법을 적용한다.
• 상태 및 양면 과정에 대해 상호 연결된 정방향 및 역방향 확률 미분 방정식(SDE)으로 구성된 해밀토니안 시스템을 유도한다.
• 분산된 정보 패턴을 고려하기 위해 조건부 해밀토니안을 도입하여 제어 정책의 비예측성(non-anticipativity)을 보장한다.
• 일반적인 제어 전략(정적 제어)과 유연한 제어 전략(제어 행동에 대한 확률 측도)을 모두 고려하여 최적성 조건을 일반화한다.
• 필터가 브라운 운동으로 생성되지 않을 경우, 수직 마르팅게일과 수정된 양면 방정식을 통합하여 확률 최대 원리를 분산된 환경에 적응시킨다.

실험 결과

연구 질문

• RQ1 고전적 확률 최대 원리는 비선형 분산 확률 미분 시스템에서 분산된 정보 구조를 가진 팀 최적 및 개인별 최적 제어로 확장될 수 있는가?
• RQ2 일반 제어 전략과 유연한 제어 전략 모두에 대해 이러한 시스템의 필수 및 충분한 최적성 조건은 무엇인가?
• RQ3 필터가 브라운 운동으로만 생성되지 않을 경우 최적성 조건은 어떻게 달라지는가?
• RQ4 유도된 해밀토니안 시스템은 중심 집중형 최적 제어를 어떻게 분산 아키텍처로 일반화하는가?
• RQ5 분산된 정보 하에서 비예측적 제어 정책을 보장하기 위해 조건부 해밀토니안이 수행하는 역할은 무엇인가?

주요 결과

• 팀 최적성은 정방향 및 역방향 SDE로 구성된 해밀토니안 시스템으로 특징지어지며, 양면 과정은 시스템의 소음과 수직 마르팅게일에 의해 구동되는 역방향 SDE를 만족한다.
• 팀 최적성에 대한 필수 및 충분한 조건은 조건부 해밀토니안을 통해 유도되며, 이는 어떤 다른 제어 전략도 더 높은 기대 수익을 얻을 수 없음을 보장한다.
• 유연한 전략의 경우 최적성 조건은 최적 제어에 집중된 드리에크 측도를 포함한 변분 부등식으로 단순화되며, 해밀토니안의 구조를 유지한다.
• 필터가 브라운 운동으로 생성되지 않을 경우, 양면 방정식은 비율 항과 수직 마르팅게일 성분을 포함하도록 수정되어 최적성 조건의 타당성을 유지한다.
• 이 프레임워크는 고전적 확률 최적화 이론이 중심 집중형 시스템에만 국한되지 않음을 확인한다; 핵심 과제는 이론적 적용 가능성보다는 구현에 있다.
• 결과는 제2부에서 선형 및 비선형 팀 게임에 대해 닫힌 형태의 해를 도출하기 위한 기초가 된다.