[논문 리뷰] Some sensitivity results in stochastic optimal control: A Lagrange multiplier point of view

Julio Backhoff‐Veraguas, F.J.G. Silva|arXiv (Cornell University)|2014. 04. 02.

Stochastic processes and financial applications참고 문헌 22인용 수 3

한 줄 요약

이 논문은 약한 형태의 본트리아진 원리에 기반하여 라그랑주 승수와 확률적 최적 제어에서의 수반 과정 사이의 엄밀한 연결을 수립함으로써, 동역학의 무한차원 변형(예: 랜덤 계수 및 기댓값 형 제약 조건 포함)에 대한 가치 함수의 1차 민감도 분석을 가능하게 한다.

ABSTRACT

In this work we provide a first order sensitivity analysis of some parameterized stochastic optimal control problems. The parameters can be given by random processes. The main tool is the one-to-one correspondence between the adjoint states appearing in a weak form of the stochastic Pontryagin principle and the Lagrange multipliers associated to the state equation.

연구 동기 및 목표

• 수반 과정이 제약 최적화에서의 라그랑주 승수와 연결되는 기능적 해석 프레임워크를 수립하는 것.
• 볼록 쌍대성과 라그랑주 승수 기법을 랜덤 계수를 가진 비볼록, 비선형 확률적 최적 제어 문제로 확장하는 것.
• 확률적 미분 방정식 동역학의 무한차원 변형(드리프트, 확산, 초기 조건 파라미터 포함)에 대한 가치 함수의 1차 민감도 분석을 가능하게 하는 것.
• 약한 본트리아진 승수와 상태 방정식 제약 조건에 관련된 라그랑주 승수 사이의 관계를 체계화하는 것.
• 선형-제곱형(LQ) 및 평균-분산 포트폴리오 선택 문제와 같은 구체적 문제에 프레임워크를 적용하여 일반 이론을 통해 알려진 명시적 민감도를 복원하는 것.

제안 방법

• 이토 과정의 힐버트 공간에서 확률적 최적 제어 문제를 제약 최적화 문제로 공식화하는 것.
• 완전한 해밀토니안 최소화 대신 1차 최적성 조건을 만족하는 약한 본트리아진 승수 쌍 (p, q)을 도입하는 것.
• λ(t) = p(0) + ∫₀ᵗ p(s)ds + ∫₀ᵗ q(s)dW(s)로 정의된 라그랑주 승수 과정이 이토 과정임을 보이고, 이는 SDE 제약 조건과 대응됨을 보여주는 것.
• 이토의 공식과 마틴갈 성질을 이용하여 변형에 대한 가치 함수 도함수의 표현식을 유도하는 것.
• 선형-제곱형(LQ) 및 평균-분산 포트폴리오 선택 문제에 프레임워크를 적용하여 명시적 민감도 공식을 도출하는 것.
• r ≡ 0 이고 μ, σ가 유계인 결정론적 1차원 케이스에서 이론적 결과를 기존의 명시적 해와 대조하여 검증하는 것.

실험 결과

연구 질문

• RQ1 확률적 본트리아진 원리에서의 수반 과정은 제약 최적화 프레임워크에서 라그랑주 승수로 어떻게 해석될 수 있는가?
• RQ2 약한 본트리아진 승수와 상태 방정식 제약 조건에 관련된 라그랑주 승수 사이의 정확한 관계는 무엇인가?
• RQ3 SDE 계수 및 초기 조건의 무한차원 변형 하에서 가치 함수의 1차 민감도 분석을 수행할 수 있는가?
• RQ4 유도된 민감도 공식은 평균-분산 포트폴리오 선택 문제에서 알려진 명시적 해와 어떻게 비교되는가?
• RQ5 이토 과정의 힐버트 공간 구조가 라그랑주 승수가 이토 과정이 되도록 보장하는 데 어떤 역할을 하는가?

주요 결과

• 약한 본트리아진 승수 (p, q)와 λ(t) = p(0) + ∫₀ᵗ p(s)ds + ∫₀ᵗ q(s)dW(s)로 정의된 라그랑주 승수 사이에 일대일 대응이 수립되며, 이는 이토 과정임을 보여준다.
• 초기 자본 x, 목표 A, 드리프트 μ, 변동성 σ에 대한 변화에 대한 가치 함수 도함수는 Dv(P;ΔP) = E[∫₀ᵀ p(t)π(t)Δμ(t)dt] + E[∫₀ᵀ q(t)π(t)Δσ(t)dt] + p(0)[Δx − ΔA]로 주어지며, 명시적 표현식이 도출되었다.
• r ≡ 0 이고 μ, σ가 결정론적일 경우 평균-분산 포트폴리오 문제에서 초기 자본에 대한 민감도는 Dₓv = 2(x−A)Δx / (e^{∫Σ²ds}−1)로 주어지며, 기존 알려진 가치 함수의 명시적 도함수와 일치한다.
• 드리프트 파라미터 μ에 대한 민감도는 Dₘᵤv = −2(A−x)²e^{∫Σ²ds} / (e^{∫Σ²ds}−1)² ∫₀ᵀ (μ(t)Δμ(t))/σ(t)² dt로 주어지며, 이는 분석적 도함수와 일치함을 확인하였다.
• 변동성 σ에 대한 민감도는 Dσv = 2(A−x)²e^{∫Σ²ds} / (e^{∫Σ²ds}−1)² ∫₀ᵀ (μ(t)²Δσ(t))/σ(t)³ dt로 주어지며, 명시적 계산과 일관성을 확인하였다.
• 이론적 프레임워크는 LQ 케이스에서 알려진 명시적 민감도를 복원하여, 방법의 정확성과 일반성을 검증하였다.