[論文レビュー] Online Learning and Optimization of Markov Jump Affine Models

Sevi Baltaoglu, Lang Tong+1 more|arXiv (Cornell University)|May 7, 2016

Advanced Bandit Algorithms Research参考文献 19被引用数 4

ひとこと要約

本稿では、未知のパラメータを有するマーカフジャンプアフィンモデルのオンライン学習および最適化のための、マーカフサイニペーシブ・ペチルベーシス・ステンディスティック・アプロキシメーション（MSPSA）アルゴリズムを提案する。MSPSAは、二次的コスト最小化および収益最大化の両方において、$Θ(\sqrt{T})$ のオーダーで最適なレジット成長を達成し、最適な制御入力に対してほとんど確実かつ二乗平均の意味で収束する。

ABSTRACT

The problem of online learning and optimization of unknown Markov jump affine models is considered. An online learning policy, referred to as Markovian simultaneous perturbations stochastic approximation (MSPSA), is proposed for two different optimization objectives: (i) the quadratic cost minimization of the regulation problem and (ii) the revenue (profit) maximization problem. It is shown that the regret of MSPSA grows at the order of the square root of the learning horizon. Furthermore, by the use of van Trees inequality, it is shown that the regret of any policy grows no slower than that of MSPSA, making MSPSA an order optimal learning policy. In addition, it is also shown that the MSPSA policy converges to the optimal control input almost surely as well as in the mean square sense. Simulation results are presented to illustrate the regret growth rate of MSPSA and to show that MSPSA can offer significant gain over the greedy certainty equivalent approach.

研究の動機と目的

• 未知で時間変動するパラメータを有するシステムにおけるオンライン学習と制御の課題に対処する。
• 探索と活用のバランスを取る不確実性下での逐次的意思決定として問題を定式化する。
• 二次的コスト最小化と収益最大化という二つの目的に関して、マーカフジャンプアフィンモデルにおけるレジット成長の根本的限界を確立する。
• 理論的下限に一致する、最小限のレジット成長率を達成するオンライン学習方策を開発する。
• 学習方策が最適な制御入力に対してほとんど確実かつ二乗平均の意味で収束することを示す。

提案手法

• マーカフサイニペーシブ・ペチルベーシス・ステンディスティック・アプロキシメーション（MSPSA）アルゴリズムを提案する。これは、マーカフジャンプアフィンモデルのための新しいオンライン学習方策である。
• 同時摂動を用いて、制御入力に関するコスト／報酬関数の勾配を推定し、効率的なオンライン適応を可能にする。
• 確率的近似理論を適用して、ノイズが混入した観測に基づき制御入力を更新する。これにより、時間変動するシステムダイナミクス下でも収束を保証する。
• ヴァン・トゥルス不等式を用いて、レジット成長の下限を導出し、MSPSAがオーダー最適な性能を達成することを証明する。
• 一貫した推定と収束を保証する再パラメータ化および適応的学習則を導入する。これは、逆行列が存在しないシステム行列に対しても有効である。
• 一次条件（FOC）および陰関数定理を用いて、最適な制御入力を、基礎となるマーカフ状態およびシステムパラメータの関数として特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 未知のパラメータを有するマーカフジャンプアフィンモデルにおけるオンライン学習のレジット成長の根本的限界は何か？
• RQ2 二次的コスト最小化および収益最大化という両方の目的において、最小限のレジット成長率を達成するオンライン学習方策を設計可能か？
• RQ3 MSPSAアルゴリズムは、グリーディー・セキュリティ・エクイバレンス法と比較して、レジットおよび収束性においてどのように異なるか？
• RQ4 学習方策が最適な制御入力に対してほとんど確実かつ二乗平均の意味で収束するための条件は何か？
• RQ5 ヴァン・トゥルス不等式を用いて、このクラスの時間変動する確率的システムに対して非漸近的レジット下限を導出可能か？

主な発見

• MSPSA方策のレジット成長は、$\\sqrt{T}$ のオーダーであり、ヴァン・トゥルス不等式を用いて導出された理論的下限と一致する。
• MSPSA方策はオーダー最適であり、$Θ(\sqrt{T})$ よりも遅いレジット成長率を達成できる他の方策は存在しない。
• MSPSAアルゴリズムは、やや厳しい正則性条件のもとで、最適な制御入力に対してほとんど確実かつ二乗平均の意味で収束する。
• シミュレーション結果は、MSPSAがグリーディー・セキュリティ・エクイバレンス法よりも顕著に低いレジットを達成することを確認しており、特に初期学習段階で顕著である。
• ヴァン・トゥルス不等式を用いて導出されたレジット下限は、MSPSAがオーダー最適性に加え、時間枠に伴う最良のスケーリングを達成していることを裏付けている。
• システム行列が非可逆であっても、本手法は有効であり、従来の適応制御の結果をより広いモデルクラスに拡張している。