[論文レビュー] Implicit energy regularization of neural ordinary-differential-equation control

Lucas Böttcher, Nino Antulov-Fantulin+1 more|arXiv (Cornell University)|Mar 11, 2021

Model Reduction and Neural Networks参考文献 1被引用数 4

ひとこと要約

本稿では、明示的なエネルギー正則化を必要とせずに、動的システムの最適制御信号を学習する微分可能フレームワークであるNeural ODE Control (NODEC) を提案する。ニューラルODEと勾配降下法を活用することで、NODECは制御エネルギーを暗黙的正則化によって間接的に制御し、線形および非線形システム、特にカウラモトオシレーターの同期において、解析的最適制御手法と同等の性能を達成する。

ABSTRACT

Although optimal control problems of dynamical systems can be formulated within the framework of variational calculus, their solution for complex systems is often analytically and computationally intractable. In this Letter we present a versatile neural ordinary-differential-equation control (NODEC) framework with implicit energy regularization and use it to obtain neural-network-generated control signals that can steer dynamical systems towards a desired target state within a predefined amount of time. We demonstrate the ability of NODEC to learn control signals that closely resemble those found by corresponding optimal control frameworks in terms of control energy and deviation from the desired target state. Our results suggest that NODEC is capable to solve a wide range of control and optimization problems, including those that are analytically intractable.

研究の動機と目的

• 明示的なエネルギー正則化を伴わない、ニューラルODEに基づく制御フレームワークを構築すること。
• ニューラルネットワーク学習における初期化と勾配降下法の相互作用から生じる暗黙的正則化が、最適制御解に近いエネルギー消費を持つ制御信号をもたらすかどうかを調査すること。
• 線形および非線形ネットワーク化動的システム、特に結合オシレーターの同期に対して、フレームワークの有効性を実証すること。
• 制御エネルギーと収束速度の観点から、NODECの性能を解析的最適制御およびアドジョイント勾配法（AGM）と比較すること。
• ニューラルODEが、初期化と勾配降下法の相互作用を通じて、エネルギー正則化された制御方策を暗黙的に学習できることを確立すること。

提案手法

• 制御入力をニューラルネットワークでパラメータ化したニューラルODEに従う最適制御問題として制御を定式化する。
• 最終状態の偏差を最小化する損失関数を用い、明示的な制御エネルギーペナルティを含めない。
• ネットワーク重みに対する勾配降下法を用いてコントローラーを学習し、ODEソルバーを介した逆誤差伝播に依存する。
• アドジョイント感度法を用いてODE積分を通じた勾配を計算し、エンドツーエンドの学習を可能にする。
• 完全グラフ、Erdős–Rényi、Watts–Strogatz、格子構造など、さまざまなネットワークトポロジーにおける線形系および非線形カウラモトオシレーターに本手法を適用する。
• 順序パラメータや制御エネルギーといった指標を用いて、解析的最適制御およびアドジョイント勾配法（AGM）と比較して、学習された制御信号とエネルギーを評価する。

実験結果

リサーチクエスチョン

• RQ1 明示的なエネルギー正則化なしに、ニューラルODEベースの制御フレームワークが、最適制御と同等のエネルギー消費を持つ制御信号を学習できるか？
• RQ2 ニューラルネットワークの初期化と勾配降下法の相互作用から、NODECにおける暗黙的正則化はどのように生じるか？
• RQ3 線形動的システムにおいて、NODECは解析的最適制御の性能にどの程度近づけるか？
• RQ4 カウラモトオシレーターのような非線形ネットワーク化システムにおいて、NODECは近似的に最適な制御エネルギーと同期を達成できるか？
• RQ5 さまざまなネットワークトポロジーにおいて、収束速度とエネルギー効率の観点から、NODECの性能はアドジョイント勾配法（AGM）と比べてどの程度か？

主な発見

• NODECは、明示的なエネルギー正則化なしに、線形動的システムを目標状態に安定して誘導し、その制御エネルギーが解析的最適制御解とほぼ同一の水準に達している。
• カウラモトオシレーターのネットワークにおいて、NODECはアドジョイント勾配法（AGM）よりも高速に同期を達成し、全テストネットワークタイプで同等の制御エネルギーを維持している。
• 完全グラフ、Erdős–Rényi、Watts–Strogatz、正方形格子の全ネットワークトポロジーにおいて、NODECは最終的な順序パラメータが1に近く、AGMと同等の高い同期度を示した。
• 全ネットワークタイプにおいて、NODECの制御エネルギーはAGMと同程度の範囲に収まっており、暗黙的正則化がエネルギー効率の良い制御信号を生み出していることを示している。
• 本フレームワークは大規模システムにも良好に一般化されており、補足資料では10,000ノードの正方形格子においても制御が成功している。
• 損失関数に明示的なエネルギー正則化がないにもかかわらず、学習ダイナミクスから自然に暗黙的正則化が生じるため、性能に悪影響を及ぼさない。