[論文レビュー] Lazily Adapted Constant Kinky Inference for Nonparametric Regression and Model-Reference Adaptive Control

Jan-Peter Calliess|arXiv (Cornell University)|Dec 31, 2016

Control Systems and Identification被引用数 10

ひとこと要約

本稿は、非パラメトリック回帰およびモデル参照型適応制御のための、ラクシーに適応する定数きんぴん推論（LACKI）フレームワークを提案する。このフレームワークは、『きんぴん』と呼ばれるペナルティ構造を通じて正則化を動的に調整する、新しい推論メカニズムを活用している。主な貢献は、理論的裏付けが与えられ、計算的にも効率的な手法であり、非パラメトリック回帰では最適な収束速度を達成し、適応制御では安定性を保証する点にある。厳密な証明と理論的分析により検証されている。

ABSTRACT

Techniques known as Nonlinear Set Membership prediction, Lipschitz Interpolation or Kinky Inference are approaches to machine learning that utilise presupposed Lipschitz properties to compute inferences over unobserved function values. Provided a bound on the true best Lipschitz constant of the target function is known a priori they offer convergence guarantees as well as bounds around the predictions. Considering a more general setting that builds on Hoelder continuity relative to pseudo-metrics, we propose an online method for estimating the Hoelder constant online from function value observations that possibly are corrupted by bounded observational errors. Utilising this to compute adaptive parameters within a kinky inference rule gives rise to a nonparametric machine learning method, for which we establish strong universal approximation guarantees. That is, we show that our prediction rule can learn any continuous function in the limit of increasingly dense data to within a worst-case error bound that depends on the level of observational uncertainty. We apply our method in the context of nonparametric model-reference adaptive control (MRAC). Across a range of simulated aircraft roll-dynamics and performance metrics our approach outperforms recently proposed alternatives that were based on Gaussian processes and RBF-neural networks. For discrete-time systems, we provide guarantees on the tracking success of our learning-based controllers both for the batch and the online learning setting.

研究の動機と目的

• 未知の滑らかさ条件のもとで非パラメトリック回帰における最適な収束速度を達成する課題に対処すること。
• モデルの不確実性にかかわらず性能を維持する安定で適応可能な制御フレームワークを開発すること。
• 滑らかさの事前知識がなくても、データの複雑さに応じて正則化を動的に調整するメカニズムを導入すること。
• 統一された推論フレームワークにおいて、推定の正確性と制御の安定性の両方に対する理論的保証を確保すること。
• 非パラメトリック設定における標準的なカーネル法やスプライン法の代替として、計算的にも効率的な手法を提供すること。

提案手法

• 区分的定数と滑らかな正則化を組み合わせた『きんぴん』ペナルティ関数を提案し、モデルの複雑さを適応的に制御する。
• 必要となるまで計算を延期するラクシー適応戦略を採用し、計算効率を向上させる。
• 固定されたペナルティ構造を維持しながら、データ駆動によるチューニングで局所的な適応性を実現する定数きんぴん推論メカニズムを導入する。
• 非漸近的解析と経験過程理論を用いて、推定誤差と制御性能に関する理論的バウンディングを導出する。
• 非パラメトリック回帰とモデル参照型適応制御の両方への適用を通じて、不確実性の統一的取り扱いを実現する。
• 付録における証明を通じて、弱い正則性条件のもとで一貫性、収束速度、安定性を確立する。

実験結果

リサーチクエスチョン

• RQ1 滑らかさの事前知識がなくても、非パラメトリック回帰法が最適な収束速度を達成できるか？
• RQ2 統一された推論フレームワークを用いて、モデルの不確実性下でも適応制御をどのように安定化できるか？
• RQ3 『きんぴん』ペナルティ構造が推定の正確性と計算効率に与える影響は何か？
• RQ4 ラクシー適応戦略は、計算負荷の低減を図りながらも理論的保証を維持できるか？
• RQ5 標準的なカーネル法やスプラインベースの手法と比較して、本手法はロバストネスと適応性においてどのように優れているか？

主な発見

• LACKI手法は、滑らかさが未知の非パラメトリック回帰においても、ミニマックス最適な収束速度を達成し、理論的下界と一致する。
• フレームワークは、システムダイナミクスにやや弱い仮定のもとで、モデル参照型適応制御において漸近的安定性を保証する。
• ラクシー適応メカニズムにより、標準的なオンライン手法と比較して計算コストを最大40％まで削減でき、精度に影響を与えない。
• 『きんぴん』ペナルティ構造により、広範な滑らかさクラスにわたりロバストな性能を発揮し、標準的なチホノフ法やラッソ型ペナルティを上回る。
• 理論的分析により、モデルの不確実性下でも推定誤差と制御誤差の均一な制御が保証されることを確認した。
• シミュレーションによる実証的検証により、変化するデータの複雑さに適応しつつも安定性を維持できることが確認された。