[논문 리뷰] A Class of Finite-Dimensional Numerically Solvable McKean-Vlasov Control Problems

Alessandro Balata, Côme Huré외 3명|arXiv (Cornell University)|2018. 02. 27.

Market Dynamics and Volatility참고 문헌 21인용 수 9

한 줄 요약

이 논문은 공통 노이즈가 있는 유한차원 맥컬린-블라소프 제어 문제의 다항식 클래스를 소개하며, 마르코프 임bedding을 통해 수치적 해법을 가능하게 한다. 정량화, 리그레스-래터, 제어 랜덤화 방법을 비교한 결과, 리그레스-래터와 정량화 방법이 드리프트 제어에 효과적이며, 회귀 방법은 기저 함수의 민감성으로 인해 분산 제어에 어려움을 겪는다.

ABSTRACT

We address a class of McKean-Vlasov (MKV) control problems with common noise, called polynomial conditional MKV, and extending the known class of linear quadratic stochastic MKV control problems. We show how this polynomial class can be reduced by suitable Markov embedding to finite-dimensional stochastic control problems, and provide a discussion and comparison of three probabilistic numerical methods for solving the reduced control problem: quantization, regression by control randomization, and regress later methods. Our numerical results are illustrated on various examples from portfolio selection and liquidation under drift uncertainty, and a model of interbank systemic risk with partial observation.

연구 동기 및 목표

• 부분 관측과 공통 노이즈 하에서 유한차원적이고 수치적으로 다룰 수 있는 맥컬린-블라소프 제어 문제의 클래스를 개발하기 위해.
• 선형-제곱 프레임워크를 다항식 조건부 맥컬린-블라소프 클래스를 도입하여 확장하기 위해.
• 무한차원 문제를 유한차원 문제로 감소시키기 위해 마르코프 임베딩을 통해 수치적 해법을 가능하게 하기 위해.
• 감소된 제어 문제를 해결하기 위한 세 가지 확률적 수치 방법—정량화, 리그레스-래터, 제어 랜덤화—의 비교 및 평가하기 위해.
• 부분 관측 하에서 포트폴리오 선택, 드리프트 불확실성 하의 리퀴디티 제거, 시스템 리스크 모델에 대한 성능을 입증하기 위해.

제안 방법

• 선형-제곱 문제를 일반화하고 유한차원 감소를 가능하게 하는 다항식 조건부 맥컬린-블라소프(MKV) 클래스를 제안하기 위해.
• 마르코프 임베딩을 사용하여 조건부 MKV 제어 문제를 유한차원 확률적 제어 문제로 변환하기 위해.
• 세 가지 수치 방법을 적용하기 위해: 정량화를 통한 그리드 기반 회귀를 통한 가치 함수 근사, 리그레스-래터를 통한 후행 확률적 재귀, 제어 랜덤화를 통한 랜덤화된 제어 학습.
• 세 가지 벤치마크 문제에 대해 방법을 구현하기 위해: 포트폴리오 선택, 드리프트 불확실성 하의 리퀴디티 제거, 부분 관측 하의 은행 상호 의존성 시스템 리스크.
• 비용 기능을 조건부 분포의 형태로 표현하기 위해 조건부 기대값과 반복 기대의 법칙을 사용하기 위해.
• 특히 정량화 기반 방법에서 정확도와 효율성을 향상시키기 위해 병렬 처리 및 그리드 정밀도 향상 전략을 활용하기 위해.

실험 결과

연구 질문

• RQ1 무한차원 제어 문제를 유한차원 문제로 감소시킬 수 있는 다항식 클래스의 맥컬린-블라소프 제어 문제를 구성할 수 있는가?
• RQ2 감소된 유한차원 문제를 해결하는 데 있어 정량화, 리그레스-래터, 제어 랜덤화 방법 간 정확도, 속도, 안정성 측면에서의 비교는 어떻게 되는가?
• RQ3 회귀 기반 방법이 제어가 오직 분산에만 영향을 주는 제어 문제에서 어려움을 겪는 이유는 무엇이며, 그 뒤에 숨은 수치적 제약은 무엇인가?
• RQ4 사전에 최적 상태 궤적에 대한 지식이 제한된 문제에 대해 정량화 기반 방법을 효과적으로 적용할 수 있는가?
• RQ5 정량화 방법의 그리드 설계와 경계 처리를 어떻게 최적화하여 신뢰성과 경계 오차를 줄일 수 있는가?

주요 결과

• 드리프트 제어 문제에서는 리그레스-래터와 제어 랜덤화 방법이 잘 작동하며, 리그레스-래터는 제어 랜덤화보다 하이퍼파ram터 선택에 덜 민감하고 더 신뢰할 수 있다.
• 정량화 기반 방법은 매우 안정적이고 정확한 결과를 제공하며, 국소 회귀를 통해 간편한 그리드 정밀도 향상과 오차 국소화가 가능하다.
• 회귀 기반 방법은 제어가 오직 분산에만 영향을 줄 경우 수렴 문제를 겪으며, 주로 기저 함수 선택이 열악하고 학습 분포에 매우 민감하기 때문이다.
• 제어 랜덤화에서 제어 분포의 선택은 성능에 큰 영향을 미치며, 종종 좋은 분포를 찾기 위해 다수의 반복이 필요하다.
• 정량화 방법은 효율적인 병렬 처리와 타겟팅된 그리드 정밀도 향상이 가능하여, 최적 궤적에 대한 사전 지식이 있을 경우 특히 유리하다.
• 정량화 그리드의 경계 효과는 그리드 형태가 철저히 설계되지 않으면 성능을 심각하게 떨어뜨릴 수 있으며, 최적 행동 선택을 위해 결정론적 최적화가 필요하다.