[論文レビュー] Information Theoretic Regret Bounds for Online Nonlinear Control.

Sham M. Kakade, Akshay Krishnamurthy+3 more|arXiv (Cornell University)|Oct 1, 2020

Advanced Bandit Algorithms Research被引用数 13

ひとこと要約

本論文は、再現核ヒルバート空間（RKHS）に属する関数としてモデル化された未知の力学的システムにおけるオンライン非線形制御のための、下位信頼に基づく連続制御（LC3）アルゴリズムを提案する。この手法は、システム次元に依存しない近似的に最適なO(√T)のレグレットバウンドを達成し、情報理論的量に依存している。非線形制御タスクにおける効果的な探索を通じて、学習が向上することを示している。

ABSTRACT

This work studies the problem of sequential control in an unknown, nonlinear dynamical system, where we model the underlying system dynamics as an unknown function in a known Reproducing Kernel Hilbert Space. This framework yields a general setting that permits discrete and continuous control inputs as well as non-smooth, non-differentiable dynamics. Our main result, the Lower Confidence-based Continuous Control (LC3) algorithm, enjoys a near-optimal O(\sqrt{T}) regret bound against the optimal controller in episodic settings, where T is the number of episodes. The bound has no explicit dependence on dimension of the system dynamics, which could be infinite, but instead only depends on information theoretic quantities. We empirically show its application to a number of nonlinear control tasks and demonstrate the benefit of exploration for learning model dynamics.

研究の動機と目的

• 未知の非線形力学的システムにおけるオンライン制御を扱う。ここで、力学的システムのダイナミクスは、既知の再現核ヒルバート空間（RKHS）に属する関数としてモデル化される。
• 非滑らかで微分不能なダイナミクスがあるにもかかわらず、エピソード設定において近似的に最適なレグレットを達成する制御アルゴリズムを開発すること。
• システム次元に明示的な依存を排除するために、情報理論的量に依存することで、レグレットバウンドにおける次元依存性を解消すること。
• 複雑な非線形システムダイナミクスの学習における探索の有効性を実証的に検証すること。

提案手法

• 未知のシステムダイナミクスを、既知の再現核ヒルバート空間（RKHS）に属する未知関数としてモデル化することで、非線形的かつ非滑らかなダイナミクスの柔軟な表現を可能にする。
• 逐次的制御意思決定における探索と活用のバランスを図るために、下位信頼区間を用いたLC3アルゴリズムを設計する。
• 観測値とシステムダイナミクスの間の相互情報量などの情報理論的量に基づいて、レグレットバウンドを導出する。
• システムダイナミクスの次元が無限大であっても、次元に明示的な依存がないO(√T)のスケーリングを保証するレグレットバウンドを確保する。
• 不確実なダイナミクス領域を能動的にプローブすることで、モデル学習を向上させる探索戦略を統合する。
• さまざまな非線形制御タスクにアルゴリズムを適用し、その有効性を実証的に示す。

実験結果

リサーチクエスチョン

• RQ1 システム次元に明示的な依存がない非線形制御における近似的に最適なレグレットを達成できるか？
• RQ2 情報理論的量は、未知の非線形力学的システムにおけるレグレットバウンドをどのように活用できるか？
• RQ3 非滑らかで微分不能なシステムにおいて、構造的探索は正確なダイナミクス学習にどのような役割を果たすか？
• RQ4 カーネルベースの関数空間モデルは、複雑な非線形ダイナミクスを効果的に表現できるか、かつ効率的な制御を可能にするか？

主な発見

• LC3アルゴリズムは、O(√T)のレグレットバウンドを達成し、エピソード設定におけるオンライン非線形制御において近似的に最適である。
• レグレットバウンドは、システムダイナミクスの次元に明示的な依存を示さず、無限次元のRKHSであっても成立する。
• バウンドは、相互情報量などの情報理論的量に依存しており、システムダイナミクスの不確実性を反映している。
• 実証的結果から、LC3における探索戦略が非線形システムダイナミクスの学習を顕著に向上させていることが示された。
• 本フレームワークは、離散的および連続的制御入力、非滑らかで微分不能なダイナミクスの両方を効果的に処理できた。