[논문 리뷰] Dynamic Approaches for Some Time Inconsistent Problems

Chandrasekhar Karnam, Jin Ma외 1명|arXiv (Cornell University)|2016. 04. 13.

Economic theories and models참고 문헌 27인용 수 11

한 줄 요약

이 논문은 전통적인 동적 프rogramming이 시간 비일관성으로 인해 실패하는 확률적 제어 문제에서 시간 일관성을 복원하기 위해 새로운 동적 유틸리티 프레임워크를 제안한다. 시간에 따라 변화하는 유틸리티 함수를 정의함으로써 전방 동역학과 일치시키고, 동적 프로그래밍 원리(DPP)를 부활시켰으며, 삼중 통합 접근법—쌍대성, 동적 유틸리티, 마스터 방정식—을 제안하여 원래 정적 문제와 동일한 값을 도출함으로써 연속 시간 내 시간 비일관성 최적화에서 오랫동안 지속된 모순을 해결한다.

ABSTRACT

In this paper we investigate possible approaches to study general time-inconsistent optimization problems without assuming the existence of optimal strategy. This leads immediately to the need to refine the concept of time-consistency as well as any method that is based on Pontryagin's Maximum Principle. The fundamental obstacle is the dilemma of having to invoke the {\it Dynamic Programming Principle} (DPP) in a time-inconsistent setting, which is contradictory in nature. The main contribution of this work is the introduction of the idea of the "dynamic utility" under which the original time inconsistent problem (under the fixed utility) becomes a time consistent one. As a benchmark model, we shall consider a stochastic controlled problem with multidimensional backward SDE dynamics, which covers many existing time-inconsistent problems in the literature as special cases, and we argue that the time inconsistency is essentially equivalent to the lack of {\it comparison principle}. We shall propose three approaches aiming at reviving the DPP in this setting: the duality approach, the dynamic utility approach, and the master equation approach. Unlike the game approach in many existing works in continuous time models, all our approaches produce the same value as the original static problem.

연구 동기 및 목표

• 연속 시간 확률적 제어 문제에서 시간 비일관성과 동적 프로그래밍 원리(DPP) 사이의 근본적 모순을 해결하기 위해.
• 시간 비일관성 문제에서 최적 제어 전략의 존재를 가정할 필요 없이 문제를 해결하기 위해.
• 원래 문제의 값 $V_0$ 를 변화시키지 않고 시간 일관성을 복원하는 새로운 수학적 도구를 개발하기 위해.
• 원래 정적 문제의 값을 동적 분석에서도 유지할 수 있는 프레임워크를 구축하기 위해.
• 전방 DPP에 적합한 왼쪽 시간 경로 도함수를 마스터 방정식에 도입하고 그 타당성을 입증하기 위해.

제안 방법

• 원래 시간 비일관성 문제를 시간 일관성 있게 만들 수 있는 '동적 유틸리티' 개념을 도입하여 DPP 적용 가능성을 확보한다.
• 서로 다른 세 가지 접근법—쌍대성, 동적 유틸리티, 마스터 방정식—을 제안하며, 이들 모두 원래 값 $V_0$ 를 유지한다.
• 왼쪽 시간 경로 도함수를 사용한 전방 DPP를 유도하며, 이는 전방 시간 동역학과 일치하고 부적절하게 정의된 문제를 피하기 위해 필수적이다.
• 값 함수 $\Psi$ 의 왼쪽 도함수를 포함하는 마스터 방정식을 수립하여 전방 동역학과의 일관성을 확보한다.
• 표준 오른쪽 도함수를 사용할 경우, 생성자 $f$ 내 제어 변수 $z$ 의 의존성을 忽시하므로 부적절하게 정의된 방정식이 도출된다는 것을 입증한다.
• 다차원 상태 과정을 가진 역행적 SDE 동역학을 사용하여 일반적인 시간 비일관성 문제를 모델링하며, 기존 모델들을 특수 케이스로 포함한다.

실험 결과

연구 질문

• RQ1 최적 전략의 존재를 가정하지 않고도 시간 비일관성 확률적 제어 문제에서 동적 프로그래밍 원리를 부활시킬 수 있는가?
• RQ2 DPP가 전방향일 때 마스터 방정식에 사용할 적절한 시간 도함수는 무엇인가?
• RQ3 원래 값 $V_0$ 를 변화시키지 않고 시간 비일관성 문제를 시간 일관성 문제로 전환할 수 있는가?
• RQ4 이 맥락에서 표준 오른쪽 도함수 사용이 왜 부적절하게 정의된 마스터 방정식을 초래하는가?
• RQ5 일반적인 시간 비일관성 문제에서 비교 원리와 시간 일관성은 동치인가?

주요 결과

• 동적 유틸리티의 도입은 시간 비일관성 문제를 시간 일관성 문제로 전환시켜 DPP 적용을 가능하게 한다.
• 왼쪽 시간 경로 도함수는 마스터 방정식에 있어 필수적이며, 표준 오른쪽 도함수 사용은 생성자 $f$ 의 $z$-의존성을 忽시하여 부적절하게 정의된 방정식을 초래한다.
• 제안된 세 가지 접근법—쌍대성, 동적 유틸리티, 마스터 방정식—은 모두 원래 정적 문제와 동일한 값을 도출하며 $V_0$ 를 유지한다.
• 왼쪽 도함수를 사용해 유도된 마스터 방정식은 전방 DPP 하에서 잘 정의되어 있으며, 반면 오른쪽 도함수를 사용한 경우는 부적절하게 정의된다.
• 시간 비일관성은 본질적으로 기반 확률적 제어 문제에서 비교 원리의 부재와 동치이다.
• 값 함수 $\Psi(t,\eta)$ 는 전방 DPP를 만족하며, 그 왼쪽 도함수가 마스터 방정식 유도에 적합한 대상이다.