[論文レビュー] Entropy-regularized penalization schemes and reflected BSDEs with singular generators

Daniel Chee, Noufel Frikha+1 more|arXiv (Cornell University)|Feb 20, 2026

Stochastic processes and financial applications被引用数 0

ひとこと要約

エントロピー正則化ペナルティ項を連続時間の最適停止問題に導入し、アメリカンオプションへの収束を分析し、対数的に特異なドライバーを持つ極限RBSDEを導出する。

ABSTRACT

This paper extends our previous work to continuous-time optimal stopping, focusing on American options in an exploratory setting. Our first contribution is an entropy-regularized penalization scheme, inspired by classical penalization techniques for reflected BSDEs. It yields a smooth approximation of the stopping rule, promotes exploration, and enables gradient-based learning methods. We prove well-posedness, convergence, and illustrate numerical performance in low-dimensional examples. Our second contribution analyzes the behaviour of the scheme as the penalization parameter grows, showing that the limit solves a reflected BSDE with a logarithmically singular generator, for which we establish existence and uniqueness via a monotone limit argument.

研究の動機と目的

• 探索的設定において連続時間最適停止へのエントロピー正則化ペナルティを拡張する。
• ペナルizationおよび温度パラメータが変化する際の正則化スキームのwell-posednessと収束を確立する。
• 正則化枠組みに適合したPolicy Improvement Algorithm (PIA)を開発する。
• ペナル化パラメータが無限大に発展した場合の極限挙動を分析し、得られる特異なRBSDEを同定する。
• 数値的な図示を提供し、最適停止の確率論的解釈とスキームを結びつける。

提案手法

• エントロピー正則化BSDEを定式化し、緩和制御枠組みの下でSnell envelopeを近似する。
• 最適制御のギブス型表現を用い、固定の打ち切りnと温度λに対してリッツ関数ドライバーを導出する。
• エントロピー正則化BSDEのwell-posednessを証明し、λ→0のとき古典的ペナルized値V^nへの収束を解析する。
• λ→0かつλ ln(n)→0のときV^{λ,n}が古典的なペナルized値V^nへ収束し、さらに適切なスケーリングの下でアメリカンオプション値Vへ収束することを示す。
• 正則化枠組みの下でポリシーを逐次改善するようなPolicy Improvement Algorithm (PIA)を定義し、価値関数を評価する。
• n→∞の極限を調べ、対数的に特異なドライバーを持つ反射BSDEを得、単調極限論によって存在性・一意性を確立する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化は探索設定における連続時間最適停止の正則性と扱いやすさにどう影響するか。
• RQ2 ペナル化および温度パラメータが適切に調整された場合、エントロピー正則化スキームは古典的なアメリカンオプション値へ収束するか。
• RQ3 ペナル化パラメータが無限大に向かう極限挙動はどうなるか、そしてこの極限を特異なRBSDEとして特徴づけられるか。
• RQ4 エントロピー正則化枠組みにPIAを効果的に統合して実用的な計算が可能か。
• RQ5 極限過程の確率論的解釈は探索とリスク考慮にどのように結びつくのか。

主な発見

• エントロピー正則化スキームは固定nとλに対してリッツ性ドライバーを持つwell-posedなBSDEを与える。
• λ→0かつλ ln(n)→0のときV^{λ,n}は古典的なペナルized値V^nへ収束し、適切なスケーリングの下でアメリカンオプション値Vへ収束する。
• n→∞の単調極限により対数的に特異なドライバーを持つ反射BSDEへ収束し、存在性・一意性は単調極限論により確立される。
• 正則化目的の下で価値推定の単調増加列V^{λ,m}を生成するMonotoneなPolicy Improvement Algorithm (PIA)を提供する。
• 低次元設定における正則化スキームとPIAの実用的な性能を数値実験で示す。
• 極限的な特異ドライバーを分析し、エントロピー正則化と内生的デフォルトリスク・早期行使との確率的解釈を結びつける。