[論文レビュー] Boosting for Control of Dynamical Systems

Naman Agarwal, Nataly Brukhim+2 more|arXiv (Cornell University)|Jun 20, 2019

Game Theory and Applications被引用数 5

ひとこと要約

本論文は、動的システムのオンライン制御のためのブースティングフレームワークを導入し、弱い制御器を効率的に統合して、より強く、証明可能に優れた性能を示す制御器を実現する。オンライン学習における記憶と勾配ベースのブースティングを活用することで、弱い制御器の凸結合と同等のレグレットバウンドを達成し、実験では個々の弱い学習器や過パラメータ化されたモデルを上回る性能を発揮する。

ABSTRACT

We study the question of how to aggregate controllers for dynamical systems in order to improve their performance. To this end, we propose a framework of boosting for online control. Our main result is an efficient boosting algorithm that combines weak controllers into a provably more accurate one. Empirical evaluation on a host of control settings supports our theoretical findings.

研究の動機と目的

• 強い制御器を設計することが難しいが、弱い制御器は容易に入手可能な動的システムにおいて、制御性能を向上させることに寄与すること。
• 状態依存のダイナミクスと敵対的摂動を伴うオンライン非確率的制御の文脈において、ブースティングを形式化すること。
• 理論的性能保証を伴う、弱い制御器を統合して強い制御器を構築する効率的なアルゴリズムを開発すること。
• 実験的に、小さな制御器のブースティングが、同じパラメータ数を有する過パラメータ化された大規模な制御器のトレーニングを上回ることを示すこと。

提案手法

• 状態を伴う動的システムにおけるオンライン制御のためのブースティングフレームワークを提案し、コストと摂動が時間経過とともに明らかになる非確率的で敵対的な設定を採用する。
• オンライン学習における記憶とオンライン勾配ブースティングの技術を用いて、レグレットが有界であることを保証するアルゴリズムを設計する。
• 過去の行動がHステップを超えて無視できる影響を持つことを保証するため、記憶の上限（H-有界記憶）の仮定を導入する。
• 弱い制御器の凸包に競合するアルゴリズムと、2次損失の弱い制御器が一般の滑らかで強い凸損失関数を扱えるようにするアルゴリズムの2種類のブースティングアルゴリズムを設計する。
• 履歴的な性能に基づいて弱い制御器を繰り返し再重み付けし、組み合わせることで累積レグレットを最小化するブースティングループを適用する。
• 線形および非線形システム、特にLQR、ガウス過程ランダムウォーク、正弦波摂動、倒立振子の設定を含む、両方のシステムにフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 ブースティングは、状態を伴い、敵対的摂動を伴う動的システムのオンライン制御に正式に拡張可能か？
• RQ2 限られた性能しか示さない弱い制御器をどのように統合することで、制御分野における強い性能保証を達成できるか？
• RQ3 限られたデータにおける制御タスクにおいて、ブースティングは過パラメータ化されたディープラーニングモデルを上回る性能を示すか？
• RQ4 2次損失を想定した弱い制御器は、ブースティングによって一般の滑らかで強い凸損失関数を扱えるように適応可能か？
• RQ5 記憶構造（例：有界記憶）は、ブースティングの理論的および実験的性能にどのような影響を及えるか？

主な発見

• 提案されたブースティングアルゴリズムは、弱い制御器の最良な凸結合と同等のレグレット性能を達成し、性能向上の理論的保証を提供する。
• i.i.d.ノイズを伴う線形動的システムでは、ブーストされた制御器は既知の最適な線形二次制御（LQR）の性能に非常に近い。
• ガウス過程ランダムウォークや正弦波摂動などの相関する摂動に対しては、ブーストされた制御器は個々の弱い制御器（GPCおよびRNNベースのベースラインを含む）を常に上回る。
• 非線形ダイナミクスと相関するノイズを伴う倒立振子タスクでは、ブーストされた制御器がシステムを安定化させ、弱いベースラインおよび過パラメータ化されたRNNを上回る。
• 実験的結果から、同じパラメータ数を有する大規模な過パラメータ化されたRNNをトレーニングするのではなく、小さなシンプルな制御器のブースティングがより優れた性能を発揮することが示された。これは、ブースティング機構そのものが優位性をもたらすことを示唆する。
• フレームワークにより、2次損失を想定した弱い制御器が、ブースティングプロセスを通じて一般の滑らかで強い凸損失関数に対して効果的に競合可能となった。