[논문 리뷰] Finite-State Contract Theory with a Principal and a Field of Agents

René Carmona, Peiqi Wang|arXiv (Cornell University)|2018. 08. 23.

Insurance, Mortality, Demography, Risk Management참고 문헌 15인용 수 7

한 줄 요약

이 논문은 상태에 의존하는 전이 비율을 통해 상호작용하는 위험 중립성의 대규모 인구집단에 대한 인centive를 설계하는 주체가 있는 유한 상태 평균장 계약 이론 모델을 개발한다. 주체의 최적 계약 문제를 McKean-Vlasov 확률적 제어 문제로 환원함으로써 선형-제곱형 설정에서 명시적 해를 유도하고, 폐쇄형 평형 역학과 최적 제어 정책을 갖는 수치적 전염병 억제 예시를 통해 프레임워크를 검증한다.

ABSTRACT

We use the recently developed probabilistic analysis of mean field games with finitely many states in the weak formulation, to set-up a principal / agent contract theory model where the principal faces a large population of agents interacting in a mean field manner. We reduce the problem to the optimal control of dynamics of the McKean-Vlasov type, and we solve this problem explicitly in a special case reminiscent of the linear - quadratic mean field game models. The paper concludes with a numerical example demonstrating the power of the results when applied to a simple example of epidemic containment.

연구 동기 및 목표

• 에이전트들이 평균장 상호작용을 통해 영향을 주는 대규모 집단 환경에서 주체의 최적 계약 문제를 모델링하기.
• 전통적인 주체-에이전트 이론을 연속시간, 유한 상태 모델로 확장하여 연속체의 에이전트를 포함하기.
• 약한 공식화와 McKean-Vlasov 역학을 활용하여 주체 문제를 해석 가능한 최적 제어 문제로 변환하기.
• 에이전트가 주체의 계약에 합리적이고 기대효용 최적화 반응을 보일 때의 평형 행동 분석하기.
• 전염병 억제와 같은 실제 적용 사례를 통해 모델의 적용 가능성 입증하기

제안 방법

• 문헌 [5]의 유한 상태 평균장 게임에 대한 약한 공식화를 사용하여, McKean-Vlasov 역행 확률적 미분 방정식(BSDE)을 통해 에이전트의 내쉬 평형을 특성화한다.
• 주체 문제를 McKean-Vlasov BSDE의 종단 조건 제어 문제로 환원하며, 이는 해당 SDE의 초기 분포와 마틴갈레 항 제어와 동치이다.
• [9] 및 [10]의 기법을 적용하여 주체의 최적화 문제를 에이전트 상태 분포의 흐름에 대한 결정론적 제어 문제로 재구성한다.
• 선형 전이 비율, 제곱형 에이전트 비용, 위험 중립성 종료 보상의 특수 케이스를 고려하여 명시적 해석 가능한 해를 도출한다.
• 최적 에이전트 행동 하에서 에이전트 상태 분포와 가치 함수의 진화를 위한 연립 상미분방정식 시스템을 유도한다.
• 최적 에이전트 제어를 상태 분포 차이와 비용 파rameter의 함수로 모델링하기 위해 포화 함수 b(·)를 사용한다.

실험 결과

연구 질문

• RQ1 에이전트 행동이 집합적 상태 분포에 영향을 주는 대규모 집단 환경에서 주체는 어떻게 최적 계약을 설계할 수 있는가?
• RQ2 에이전트가 합리적이고 주체의 인센티브 체계에 반응하는 평균장 환경에서 내쉬 평형의 구조는 어떠한가?
• RQ3 주체의 최적 계약 문제는 에이전트 분포의 흐름에 대한 해석 가능한 제어 문제로 환원될 수 있는가?
• RQ4 유한 상태 에이전트를 갖는 선형-제곱형 평균장 설정에서 명시적 해는 무엇인가?
• RQ5 동적 인센티브가 포함된 전염병 억제 사례와 같이 실제 응용에서 모델의 성능은 어떠한가?

주요 결과

• 주체의 최적 계약 문제는 에이전트 상태 분포의 흐름에 대한 결정론적 최적 제어 문제로 재구성되어 선형-제곱형 케이스에서 명시적 해를 도출할 수 있다.
• 특수 케이스에서 위험 중립성 에이전트, 선형 전이 비율, 제곱형 비용을 가정할 경우, 최적 에이전트 제어는 분포 불균형의 함수로 폐쇄형으로 유도된다: $\hat{a}_i = b\left(\frac{\nu \cdot (v_j - v_k)}{\gamma}\right)$.
• 에이전트 상태 및 가치 함수의 진화를 지배하는 상미분방정식 시스템은 명시적으로 유도되었으며, 종단 조건으로 $\pi(0) = \mathbf{p}^\circ$ 및 $y(T) = \nabla C_0(\pi(T))$ 또는 $v(T) = 0$ 이 설정된다.
• 모델은 전염병 억제에 대해 수치적으로 해석 가능한 해를 제공하며, 주체의 인센티브가 에이전트 행동 조절을 통해 감염 확산 최소화와 일치한다.
• 평형 역학은 정방향 방정식(분포 흐름 추적)과 역방향 방정식(에이전트 가치 함수 추적)을 포함하는 연립 정방향-역방향 상미분방정식의 쌍으로 특성화된다.
• 해결책은 주체가 계약의 연속적 보상과 종료 보상을 적절히 설정함으로써 원하는 거시적 행동(예: 감염률 감소)을 유도할 수 있음을 보여준다.