[論文レビュー] A High-order Tuner for Accelerated Learning and Control

Spencer McDonald, Yingnan Cui+2 more|arXiv (Cornell University)|Mar 23, 2021

Sparse and Compressive Sensing Techniques参考文献 43被引用数 5

ひとこと要約

本稿は、時変回帰子を伴う線形パrameter化されたシステムにおける高速学習および制御のための高次チューナー（HT）を提案する。2次（ヘッセ）情報を利用することで収束速度を向上させる。ノイズのある勾配のもとでも、確率的安定性およびコンpact集合への指数的収束を確立し、その境界はノイズ統計に依存する。これは、従来の決定的保証をノイズありでリアルタイムに適用可能な状況に拡張するものである。

ABSTRACT

Gradient-descent based iterative algorithms pervade a variety of problems in estimation, prediction, learning, control, and optimization. Recently iterative algorithms based on higher-order information have been explored in an attempt to lead to accelerated learning. In this paper, we explore a specific a high-order tuner that has been shown to result in stability with time-varying regressors in linearly parametrized systems, and accelerated convergence with constant regressors. We show that this tuner continues to provide bounded parameter estimates even if the gradients are corrupted by noise. Additionally, we also show that the parameter estimates converge exponentially to a compact set whose size is dependent on noise statistics. As the HT algorithms can be applied to a wide range of problems in estimation, filtering, control, and machine learning, the result obtained in this paper represents an important extension to the topic of real-time and fast decision making.

研究の動機と目的

• リアルタイム学習および制御におけるノイズのある勾配推定を伴うシステムに、高次チューナー（HT）の安定性保証を拡張すること。
• 勾配がノイズで汚されている場合の、HTの収束行動を分析すること。
• ノイズが存在する状況において、パラメータ推定値の有界性およびコンpact集合への指数的収束を確立すること。
• 従来の決定的安定性結果を、時変回帰子を有する確率的で非マルコフ過程に一般化すること。
• 不確実性下でのリアルタイム意思決定を伴う実用的応用にHTを適用するための理論的基盤を提供すること。

提案手法

• HTアルゴリズムは、勾配とヘッセ行列の両方の情報を用いてパラメータを更新し、1次元手法よりも高速な収束を実現する。
• ノイズのある勾配のもとでのパラメータ推定誤差の期待値的変化を分析するため、確率的リャプノフ関数を構築する。
• ドーブのマルティンゲール収束定理および非マルコフ過程に対するラサール型議論を含む、確率的システム理論の道具を用いる。
• 条件付き期待値の境界を導出し、パラメータ推定値がコンpact集合の外にある場合に、リャプノフ関数が期待値的に減少することを示す。
• 非マルコフ的ダイナミクスおよび時変回帰子を扱うために、最近の確率的リャプノフ解析の進展を活用する。
• ノイズ統計およびシステムパラメータに基づいて、収束先のコンpact集合のサイズに関する理論的境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 勾配がノイズで汚されている場合でも、高次チューナーはパラメータ推定値を有界に保てるか？
• RQ2 確率的摂動のもとで、HTはコンpact集合への指数的収束を達成するか？
• RQ3 収束集合のサイズは、ノイズ統計およびシステムパラメータにどのように依存するか？
• RQ4 HTの安定性および収束保証を非マルコフ的で時変なシステムに拡張できるか？
• RQ5 ヘッセ情報は、ノイズ下での収束速度およびロバストネス向上にどのように寄与するか？

主な発見

• 高次チューナーは、時変回帰子のもとでも、勾配がノイズで汚されていても、パラメータ推定値が有界であることを保証する。
• パラメータ推定値は、ノイズ分散およびシステムパラメータに比例するコンpact集合へ指数的に収束する。
• コンpact集合のサイズは、ノイズ統計、初期パラメータ誤差、およびシステムダイナミクスの観点から明示的に境界づけられる。
• 推定値がコンpact集合の外にある場合、リャプノフ関数の条件付き期待値が減少するため、確率的安定性が保証される。
• ヘッセ情報のおかげで誤差低減が高速化され、1次元手法よりも収束速度が向上する。
• 理論的枠組みは非マルコフ過程にまで拡張可能であり、従来の確率的リャプノフ結果の適用範囲を広げている。