[論文レビュー] Nonparametric learning for impulse control problems

Sören Christensen, Claudia Strauch|arXiv (Cornell University)|Sep 20, 2019

Advanced Bandit Algorithms Research参考文献 19被引用数 4

ひとこと要約

本稿は、部分的情報下でのインパulse制御問題に対する非パrametric学習フレームワークを提案し、不変密度推定器の収束速度に基づく適応的サンプリングを通じて、探索と活用を統合する。均一なレグレットバウンド $ O(T^{-1/3}) $ を確立し、確率的採取の文脈において、ドリフトの学習と長期的制御最適化の間で最適なバランスを達成する。

ABSTRACT

One of the fundamental assumptions in stochastic control of continuous time processes is that the dynamics of the underlying (diffusion) process is known. This is, however, usually obviously not fulfilled in practice. On the other hand, over the last decades, a rich theory for nonparametric estimation of the drift (and volatility) for continuous time processes has been developed. The aim of this paper is bringing together techniques from stochastic control with methods from statistics for stochastic processes to find a way to both learn the dynamics of the underlying process and control in a reasonable way at the same time. More precisely, we study a long-term average impulse control problem, a stochastic version of the classical Faustmann timber harvesting problem. One of the problems that immediately arises is an exploration-exploitation dilemma as is well known for problems in machine learning. We propose a way to deal with this issue by combining exploration and exploitation periods in a suitable way. Our main finding is that this construction can be based on the rates of convergence of estimators for the invariant density. Using this, we obtain that the average cumulated regret is of uniform order $O({T^{-1/3}})$.

研究の動機と目的

• 古典的確率的制御において一般的だが現実的でない仮定である、拡散過程のドリフトが未知である場合のインパルス制御の課題に対処すること。
• 制御性能を同時に最適化する中で、ダイナミクスを学ぶという探索と活用のトレードオフを解消すること。
• ドリフトに制限的なパラメトリック仮定を設けない非パラメトリック統計と確率的制御を統合する包括的フレームワークを構築すること。
• 特に、学習に起因する累積損失を制限するレグレットの観点から、有限時間性能保証を導出すること。

提案手法

• 非パラメトリックカーネル密度推定と、探索（学習）と活用（制御）フェーズを交互に繰り返す時間分割戦略を組み合わせる。
• 不変密度のカーネル推定量 $ \widehat{\rho}_{t,h}(y) $ を用い、バンド幅 $ h $ は推定器の収束速度に基づいて選択する。
• 探索フェーズは $ t $ 時間単位にわたり、その間はプロセスが観測され、ドリフトが非パラメトリックに推定される。一方、活用フェーズでは推定されたダイナミクスが制御に用いられる。
• レグレット解析は、推定誤差をバイアス項とマルティンググール項に分解し、後者をバーグホルダー＝デイヴィス＝ギュンディ型不等式で制御する。
• 密度推定器の収束速度は、真の密度のホルダー連続性とカーネル関数 $ Q $ の次数に関連付けられ、バイアスの制御が可能になる。
• 最終的なレグレットバウンドは、密度推定器の期待 $ L^1 $-誤差のバウンドと、探索と活用の時間配分のバウンドを組み合わせることで導出される。

実験結果

リサーチクエスチョン

• RQ1 連続時間設定において、拡散過程の未知のドリフトを同時に学び、最適インパルス制御を実行する方法は何か？
• RQ2 事前にパラメトリック仮定を設けずに、リアルタイムで非パラメトリックにダイナミクスを学ぶ場合、得られる最小のレグレットは何か？
• RQ3 学習・制御フレームワークにおいて、累積レグレットを最小化するために、探索と活用をどのようにバランスさせるべきか？
• RQ4 非パラメトリック密度推定器の収束速度が、制御方策の性能に果たす役割は何か？
• RQ5 非パラメトリックインパルス制御問題において、均一なレグレットバウンド $ O(T^{-1/3}) $ を達成できるか？

主な発見

• 提案手法は、与えられた非パラメトリック推定制約下で最適な均一なレグレットバウンド $ O(T^{-1/3}) $ を達成する。
• レグレットバウンドは、探索時間 $ t $ とそれに伴う推定誤差のバランスを取ることで導出され、最適バンド幅は $ h \sim t^{-1/3} $ となる。
• 密度推定器のバイアス項は、真の不変密度のホルダー連続性とカーネル次数により制御され、$ \mathcal{O}(h^\beta) $ のバイアスが得られる。
• 推定誤差のマルティンググール項はバーグホルダー＝デイヴィス＝ギュンディ型不等式により制御され、$ L^1 $-誤差に $ \mathcal{O}(\sqrt{h}) $ の寄与が生じる。
• 解析により、密度推定器の $ L^1 $-誤差は $ \mathcal{O}(1/\sqrt{t}) $ であると示され、これが全体のレグレットスケーリングに寄与する。
• このフレームワークは、非パラメトリック統計と確率的制御を効果的に統合し、学習と制御を同時に実行可能であり、定量的な性能保証を示している。