[論文レビュー] Automatic differentiation of Sylvester, Lyapunov, and algebraic Riccati equations

Ta-Chu Kao, Guillaume Hennequin|arXiv (Cornell University)|Nov 23, 2020

Model Reduction and Neural Networks参考文献 6被引用数 6

ひとこと要約

本稿では、制御理論における基本的な行列方程式であるシルベスター方程式、ラピアノフ方程式、代数リカッチ方程式の解に対する前向きモードおよび逆向きモードの自動微分ルールを導出する。著者らは、離散時間代数リカッチ方程式（DARE）を介して、勾配ベース最適化により観測された軌道から状態コスト行列 Q を回復することで、逆線形二次調節器（LQR）問題を解くことでその有効性を示している。

ABSTRACT

Sylvester, Lyapunov, and algebraic Riccati equations are the bread and butter of control theorists. They are used to compute infinite-horizon Gramians, solve optimal control problems in continuous or discrete time, and design observers. While popular numerical computing frameworks (e.g., scipy) provide efficient solvers for these equations, these solvers are still largely missing from most automatic differentiation libraries. Here, we derive the forward and reverse-mode derivatives of the solutions to all three types of equations, and showcase their application on an inverse control problem.

研究の動機と目的

• 制御理論で用いられる主要な行列方程式の微分可能ソルバーを提供することで、自動微分（AD）ライブラリにおけるギャップを埋めること。
• 観測された軌道からシステムパラメータ（例：状態コスト行列 Q）を推定しなければならない逆制御問題において、勾配ベース最適化を可能にすること。
• これまでの大多数の AD ライブラリで非対応であったが、広く用いられている制御理論的方程式への AD フレームワークの適用範囲を拡張すること。
• PyTorch や JAX、TensorFlow などの人気 AD ライブラリに統合可能な基盤を提供するため、前向きおよび逆向きモードの厳密なルールを導出すること。
• 合成データを用いた具体的な逆 LQR 応用を通じて、導出された導関数の実用的有用性を示すこと。

提案手法

• 行列方程式の微分を取ることで前向きモードの導関数を導出し、接線行列を求めるための新たな関連するシルベスター／ラピアノフ／リカッチ方程式を解く。
• 双対変数（ラグランジュ乗数）を用いたラグランジュ形式を用いて逆向きモードの随伴量を導出し、元の行列方程式と類似した随伴方程式が得られる。
• 離散時間代数リカッチ方程式（DARE）に対して、陰関数定理と対称性制約を用いて、システム行列 A, B およびコスト行列 Q, R の随伴量を導出する。
• 導出されたルールを、AD 機能を完全に備えた OCaml ベースの数値計算ライブラリ Owl に実装し、数値的に検証する。
• L-BFGS 最適化を用いて、観測された軌道と予測された状態軌道の間の損失を最小化することで、導出された勾配を逆 LQR 問題に適用する。
• 合成データから未知の Q 行列を回復するために、DARE の解をニューラルネットワークに類似した最適化ループ内の微分可能レイヤーとして使用する。

実験結果

リサーチクエスチョン

• RQ1 制御理論の中心的役割を果たすシルベスター方程式、ラピアノフ方程式、代数リカッチ方程式の解に対して、自動微分を体系的かつ適切に適用できるか？
• RQ2 標準的な固有値条件（例えば、共通固有値なし）の下で、これらの行列方程式の解に対する正しい前向きおよび逆向きモードの導関数は何か？
• RQ3 これらの導関数は、観測された軌道から状態コスト行列 Q を推定するような逆制御問題を効果的に解くために使用できるか？
• RQ4 導出されたルールを用いて DARE の解を通じて勾配を誤差逆伝播させる場合、逆 LQR におけるパラメータ回復の精度はどの程度か？
• RQ5 これらの微分可能ソルバーは、PyTorch や JAX などの既存の AD フレームワークにどの程度統合可能か？

主な発見

• 連続時間および離散時間のシルベスター方程式、ラピアノフ方程式、代数リカッチ方程式に対して、固有値の性質に関する条件のもとで、閉形式の前向きおよび逆向きモードの導関数を導出した。
• DARE に対する逆向きモードの随伴量は対称行列として得られ、随伴方程式が右辺が対称となる修正された DARE と等価であることが示された。
• 逆 LQR 実験では、L-BFGS 最適化を用いて長さ 30 の合成軌道 30 本から真の Q 行列 (1,0;0,0) を効果的に回復した。
• 最適化の 7 回目で損失関数 ℓ(𝐐̂) が収束し、推定された 𝐐̂ のノルムが真の Q に近づいた。これは、効果的なパラメータ回復を示している。
• 導出された導関数は数値的に検証され、Owl に実装されており、著者らは再現性のためのオープンソースコードを提供している。
• 本研究により、行動からコスト関数を学習するなど、制御系における勾配ベース推論が可能になり、かつてこれらの方程式をサポートしていなかった AD ライブラリにおける重要なギャップが埋められた。