[논문 리뷰] Automatic differentiation of Sylvester, Lyapunov, and algebraic Riccati equations

Ta-Chu Kao, Guillaume Hennequin|arXiv (Cornell University)|2020. 11. 23.

Model Reduction and Neural Networks참고 문헌 6인용 수 6

한 줄 요약

이 논문은 제어 이론에서 핵심적인 행렬 방정식인 Sylvester, Lyapunov, 그리고 대수 Riccati 방정식의 해에 대한 전진 및 역방향 자동 미분 규칙을 유도한다. 저자들은 이 규칙들의 유용성을 입증하기 위해 이산 시간 대수 Riccati 방정식(DARE)을 통해 관측된 궤적에서 상태 비용 행렬 Q를 기반으로 한 최적화를 통해 역방향 선형-제곱형 조절기(LQR) 문제를 해결한다.

ABSTRACT

Sylvester, Lyapunov, and algebraic Riccati equations are the bread and butter of control theorists. They are used to compute infinite-horizon Gramians, solve optimal control problems in continuous or discrete time, and design observers. While popular numerical computing frameworks (e.g., scipy) provide efficient solvers for these equations, these solvers are still largely missing from most automatic differentiation libraries. Here, we derive the forward and reverse-mode derivatives of the solutions to all three types of equations, and showcase their application on an inverse control problem.

연구 동기 및 목표

• 제어 이론에서 사용되는 핵심 행렬 방정식을 위한 미분 가능한 해법을 제공함으로써 자동 미분(AD) 라이브러리의 격차를 메우기 위해.
• 관측된 궤적에서 시스템 매개변수(예: 상태 비용 행렬 Q)를 추론해야 하는 역방향 제어 문제에서 기반 최적화를 가능하게 하기 위해.
• 기존 대부분의 AD 라이브러리에서 지원되지 않았던 복잡한 제어 이론적 방정식에 대한 AD 프레임워크의 적용 범위를 확장하기 위해.
• PyTorch, JAX, TensorFlow와 같은 인기 있는 AD 라이브러리에 통합할 수 있는 기초를 마련하기 위해, 전진 및 역방향 모드 규칙을 엄밀하게 유도하기 위해.
• 합성 데이터를 사용한 구체적인 역방향 LQR 응용을 통해 유도된 도함수의 실용적 유용성을 입증하기 위해.

제안 방법

• 행렬 방정식의 미분을 취하여 새로운 관련된 Sylvester/Lyapunov/Riccati 방정식을 풀어 탄성 행렬에 대한 전진 모드 도함수를 유도한다.
• 이중 변수(Lagrange 승수 포함)를 사용한 라그랑주 공식화를 통해 역방향 모드 인도를 유도하며, 이는 원래 행렬 방정식과 유사한 인도 방정식을 도출한다.
• 이산 시간 대수 Riccati 방정식(DARE)에 대해, 은폐 함수 정리와 대칭 제약 조건을 활용하여 시스템 행렬 A, B 및 비용 행렬 Q, R에 대한 인도를 유도한다.
• 유도된 규칙을 OCaml 기반 수치 라이브러리인 Owl에 구현하고, 수치적으로 검증한다.
• L-BFGS 최적화를 사용하여 관측된 궤적과 예측된 상태 궤적 간의 손실을 최소화함으로써 유도된 도함수를 역방향 LQR 문제에 적용한다.
• 신경망 유사 최적화 루프에서 DARE 해를 미분 가능한 레이어로 사용하여 합성 데이터로부터 알려지지 않은 Q 행렬을 복원한다.

실험 결과

연구 질문

• RQ1 Sylvester, Lyapunov, 대수 Riccati 방정식의 해에 대해 자동 미분가 체계적으로 적용될 수 있는가? 이는 제어 이론에서 핵심적인 방정식이다.
• RQ2 표준 스펙트럼 조건(예: 공통 고유값이 없음) 하에서 이러한 행렬 방정식의 해에 대한 정확한 전진 및 역방향 모드 도함수는 무엇인가?
• RQ3 이러한 도함수들은 관측된 궤적에서 상태 비용 행렬 Q를 추론하는 것과 같은 역방향 제어 문제를 효과적으로 해결하는 데 사용될 수 있는가?
• RQ4 유도된 규칙를 통해 DARE 해를 통해 기울기를 역전파할 때, 역방향 LQR에서 매개변수 복원의 정확도는 어느 정도인가?
• RQ5 이러한 미분 가능한 해법은 PyTorch나 JAX와 같은 기존 AD 프레임워크에 얼마나 잘 통합될 수 있는가? 이는 제어 및 시스템 이론 분야의 功能을 확장할 수 있는가?

주요 결과

• 연속 및 이산 시간 Sylvester, Lyapunov, 대수 Riccati 방정식에 대해 스펙트럼 성질 조건을 충족함으로써 유일성을 보장하는 폐쇄형 전진 및 역방향 모드 도함수를 유도하였다.
• DARE에 대한 역방향 모드 인도는 대칭 행렬로 유도되었으며, 인도 방정식은 우변이 대칭인 수정된 DARE와 동치임을 보였다.
• 역방향 LQR 실험에서, L-BFGS 최적화를 사용하여 길이 30인 30개의 합성 궤적에서 진짜 Q 행렬 (1,0;0,0) 을 성공적으로 복원하였다.
• 7회의 최적화 반복 후 손실 함수 ℓ(𝐐̂)이 수렴하였고, 추정된 𝐐̂의 노름이 진짜 Q에 가까워져 효과적인 매개변수 복원을 보였다.
• 유도된 도함수는 수치적으로 검증되었으며 Owl에 구현되었으며, 저자들은 재현 가능성을 위해 오픈소스 코드를 제공한다.
• 이 작업은 제어 시스템에서 기반 추론(예: 행동에서 비용 함수 학습)을 가능하게 하며, 이전에 이러한 방정식을 지원하지 않았던 AD 라이브러리의 핵심적 격차를 메운다.