[논문 리뷰] Optimal Dynamic Contracts for a Large-Scale Principal-Agent Hierarchy: A Concavity-Preserving Approach

Christopher W. Miller, Insoon Yang|arXiv (Cornell University)|2015. 06. 17.

Auction Theory and Applications인용 수 4

한 줄 요약

이 논문은 볼록성 유지 동적 프로그래밍 접근법을 사용하여 대규모 선수-대리자 계층에서 최적의 동적 계약을 개발한다. 이는 상위 수준의 선수가 자신의 직접적 보조자 외부의 모든 대리자를 간접 모니터링을 통해 인센티브화할 수 있게 하여, 계층 크기와 관계없이 상태 공간과 제어 공간을 일차원으로 축소시키며, 반복적 선형 대수와 유티리티 볼록성을 유지하는 호메오모르피즘을 통해 명시적 구성이 가능하다.

ABSTRACT

We present a continuous-time contract whereby a top-level player can incentivize a hierarchy of players below him to act in his best interest despite only observing the output of his direct subordinate. This paper extends Sannikov's approach from a situation of asymmetric information between a principal and an agent to one of hierarchical information between several players. We develop an iterative algorithm for constructing an incentive compatible contract and define the correct notion of concavity which must be preserved during iteration. We identify conditions under which a dynamic programming construction of an optimal dynamic contract can be reduced to only a one-dimensional state space and one-dimensional control set, independent of the size of the hierarchy. In this sense, our results contribute to the applicability of dynamic programming on dynamic contracts for a large-scale principal-agent hierarchy.

연구 동기 및 목표

• 지속적 시간에서 도덕적 해거 문제가 존재하는 계층적 선수-대리자 시스템에 대해 최적의 동적 계약을 설계하는 것.
• 상위 수준의 선수가 첫 번째 보조자의 출력만 관찰할 수 있음에도 불구하고, 모든 하위 대리자를 인센티브화할 수 있도록 하는 것.
• 계층 크기와 무관하게 동적 프로그래밍 문제의 차원을 상태 변수 하나와 제어 변수 하나로 축소하는 것.
• 반복적 구성 과정을 통해 유티리티의 볼록성을 유지하여 계층 전반에 걸쳐 인센티브 호환성을 확보하는 것.
• 산니코프의 이중자 동적 프로그래밍 접근법을 다중 수준 계층 계약으로 일반화하는 것.

제안 방법

• 각 계층 수준에서 대리자의 계속 가치와 최적 제어 전략을 구하기 위해 재귀적 반복 알고리즘을 사용한다.
• 전체 하위 계열을 하나의 집합 대리자로 간주하여 일반화된 이중자 선수-대리자 프레임워크를 적용한다.
• 스칼라 값을 다차원 제어 공간으로 매핑하는 호메오모르피즘 ψₖ: ℝ → Γₖ를 사용하여 볼록성을 유지한다.
• 엄격한 양의 정부호 대각행렬 Λₖ와 1ᵀgₖ = 1을 만족하는 가중치 벡터 gₖ를 사용하여 효과적 유티리티 함수 μₖ(x) = -½xᵀΛₖx를 구성한다.
• 제어 공간의 일차원 구조를 활용하여 해밀턴-자코비-벨리만(HJB) 방정식을 일차원 형태로 축소한다.
• 복잡한 방정식을 직접 풀지 않고도 동적 프로그래밍 프레임워크 내에서 확률적 최대원리와 정방-역방 SDE를 암묵적으로 활용한다.

실험 결과

연구 질문

• RQ1 상위 수준의 선수가 첫 번째 보조자의 출력만 관찰할 수 있을 때, 대규모 계층의 모든 대리자를 최적의 동적 계약으로 인센티브화할 수 있는가?
• RQ2 계층적 선수-대리자 문제의 동적 프로그래밍 해가 언제 상태 변수 하나와 제어 변수 하나로 축소될 수 있는가?
• RQ3 다중 수준의 계층에서 반복적 구성 과정을 통해 대리자의 유티리티 볼록성을 어떻게 유지할 수 있는가?
• RQ4 어떤 수학적 구조가 고차원 제어 문제를 계층 계약에서 일차원 최적화로 축소하는 데 기여하는가?
• RQ5 도덕적 해거가 여러 레이어에 걸쳐 존재할 때, 대리자의 계속 가치와 인센티브 호환성은 어떻게 유지되는가?

주요 결과

• 상위 수준 선수의 최적 계약은 각 계층 수준에서 대리자의 유티리티 볼록성을 유지하는 반복 알고리즘을 통해 구성될 수 있다.
• 계층 내 대상 수와 관계없이 동적 프로그래밍 문제는 상태 변수 하나와 제어 변수 하나로 축소된 일차원 HJB 방정식이 된다.
• 상위 선수의 제어 공간 Γ₁은 1ᵀg₁ = 1을 만족하는 벡터 g₁로 매개변수화된 일차원 선형 부분공간이며, 이는 효율적 최적화를 가능하게 한다.
• 집합 대리자의 효과적 유티리티 함수는 이차형이며 엄격하게 볼록하며, μ₁(x) = -½xᵀΛ₁x로 표현되며, Λ₁은 엄격한 양의 정부호 대각행렬이다.
• 선수의 HJB 방정식은 vₜ + sup_y [½γ(γσ²v_ww + v_w)y² + y] = 0 형태로 단순화되며, 여기서 γ = g₁ᵀΛ₁g₁로 정의되어 효율적 해법이 가능하다.
• 반복적 구성은 각 단계에서 행렬 역행렬과 벡터 스케일링과 같은 선형 대수 연산만을 사용하므로 계산 가능성이 보장된다.