[論文レビュー] Dynamic Approaches for Some Time Inconsistent Problems

Chandrasekhar Karnam, Jin Ma+1 more|arXiv (Cornell University)|Apr 13, 2016

Economic theories and models参考文献 27被引用数 11

ひとこと要約

本稿は、従来の動的プログラミングが時間不一致のために失敗する確率的制御問題において、時間的一致性を回復するための新しい動的ユーティリティフレームワークを導入する。時間的整合性を回復することで、動的プログラミング原理（DPP）を再び適用可能にし、双対性、動的ユーティリティ、マスターエンジンの3つの統一的アプローチを提案。これらはすべて元の静的問題と同一の値をもたらし、連続時間における時間不一致最適化における長年の矛盾を解消する。

ABSTRACT

In this paper we investigate possible approaches to study general time-inconsistent optimization problems without assuming the existence of optimal strategy. This leads immediately to the need to refine the concept of time-consistency as well as any method that is based on Pontryagin's Maximum Principle. The fundamental obstacle is the dilemma of having to invoke the {\it Dynamic Programming Principle} (DPP) in a time-inconsistent setting, which is contradictory in nature. The main contribution of this work is the introduction of the idea of the "dynamic utility" under which the original time inconsistent problem (under the fixed utility) becomes a time consistent one. As a benchmark model, we shall consider a stochastic controlled problem with multidimensional backward SDE dynamics, which covers many existing time-inconsistent problems in the literature as special cases, and we argue that the time inconsistency is essentially equivalent to the lack of {\it comparison principle}. We shall propose three approaches aiming at reviving the DPP in this setting: the duality approach, the dynamic utility approach, and the master equation approach. Unlike the game approach in many existing works in continuous time models, all our approaches produce the same value as the original static problem.

研究の動機と目的

• 連続時間の確率的制御における時間不一致と動的プログラミング原理（DPP）の根本的矛盾を解消すること。
• 時間不一致問題において最適制御戦略の存在を仮定する必要を排除すること。
• 元の問題の値 $V_0$ を変更せずに時間的一致性を回復するための新しい数学的ツールを開発すること。
• 動的解析においても元の静的問題の値が保持されるフレームワークを確立すること。
• 前方DPPに適した左時系列パス微分をマスターエンジンに導入し、その正当性を示すこと。

提案手法

• 元の時間不一致問題が時間的一致性を持つように再定義された動的ユーティリティの概念を導入し、DPPの適用を可能にする。
• 双対性、動的ユーティリティ、マスターエンジンの3つの異なるが一貫したアプローチを提案。これらはすべて元の値 $V_0$ を保持する。
• 左時系列パス微分を用いた前方DPPを導出。これは前方時系列ダイナミクスに適しており、不適切な定式化を回避する。
• 値関数 $\Psi$ の左微分を含むマスターエンジンを確立。これにより前方ダイナミクスと整合性が保たれる。
• 標準的な右微分を用いる場合、生成子 $f$ の制御変数 $z$ 依存性を無視するため、方程式が不適切になることを示す。
• 多次元状態過程を用いた後向きSDEのダイナミクスを用い、一般の時間不一致問題をモデル化。既存のモデルを特別な場合として含む。

実験結果

リサーチクエスチョン

• RQ1 最適戦略の存在を仮定せずに、時間不一致確率的制御問題において動的プログラミング原理（DPP）を再び適用可能にすることができるか？
• RQ2 DPPが前方時系列である場合、マスターエンジンに適切な時間微分は何か？
• RQ3 元の値 $V_0$ を変更せずに、時間不一致問題を時間的一致性のあるものに変換する方法は何か？
• RQ4 なぜ標準的な右微分を用いると、この文脈で不適切なマスターエンジン方程式が得られるのか？
• RQ5 一般の時間不一致問題において、比較原理は時間的一致性と同値であるか？

主な発見

• 動的ユーティリティの導入により、時間不一致問題が時間的一致性を持つものに変換され、DPPの適用が可能になる。
• 左時系列パス微分はマスターエンジンにおいて不可欠であり、標準的な右微分を用いると、生成子 $f$ の $z$ 依存性を無視するため、不適切な方程式が得られる。
• 提案された3つのアプローチ（双対性、動的ユーティリティ、マスターエンジン）は、いずれも元の静的問題と同一の値をもたらし、$V_0$ を保持する。
• 左微分を用いて導出されたマスターエンジンは前方DPPと整合的であり、不適切な方程式が得られる右微分とは対照的である。
• 時間不一致は、本質的に、関連する確率的制御問題における比較原理の欠如に等しい。
• 値関数 $\Psi(t,\eta)$ は前方DPPを満たし、その左微分がマスターエンジンを導出するのに適切な対象である。