[논문 리뷰] Optimal steering of a linear stochastic system to a final probability distribution

Yongxin Chen, Tryphon T. Georgiou외 1명|arXiv (Cornell University)|2014. 08. 10.

Advanced Thermodynamics and Statistical Mechanics인용 수 6

한 줄 요약

이 논문은 최소 에너지 상태 피드백 제어를 사용하여 선형 확률적 시스템을 초기 가우시안 분포에서 목표 최종 가우시안 분포로 안내하기 위한 명시적이고 계산 가능한 해를 제시한다. 최적 제어는 초기 및 최종 공분산 행렬을 통해 닫힌 형태로 표현된 경계 조건을 갖는 두 개의 결합된 미분 리아푸노프 방정식을 풀어 유도되며, 이는 일반적인 가우스-마르코프 과정에 대해 Schrödinger 다리 프레임워크 내에서 구현 가능한 첫 번째 해를 제공한다.

ABSTRACT

We consider the problem to steer a linear dynamical system with full state observation from an initial gaussian distribution in state-space to a final one with minimum energy control. The system is stochastically driven through the control channels; an example for such a system is that of an inertial particle experiencing random "white noise" forcing. We show that a target probability distribution can always be achieved in finite time. The optimal control is given in state-feedback form and is computed explicitely by solving a pair of differential Lyapunov equations that are coupled through their boundary values. This result, given its attractive algorithmic nature, appears to have several potential applications such as to active control of nanomechanical systems and molecular cooling. The problem to steer a diffusion process between end-point marginals has a long history (Schrödinger bridges) and therefore, the present case of steering a linear stochastic system constitutes a Schrödinger bridge for possibly degenerate diffusions. Our results, however, provide the first implementable form of the optimal control for a general Gauss-Markov process. Illustrative examples of the optimal evolution and control for inertial particles and a stochastic oscillator are provided. A final result establishes directly the property of Schrödinger bridges as the most likely random evolution between given marginals to the present context of linear stochastic systems.

연구 동기 및 목표

• 비가역성 있는 소음을 갖는 선형 확률적 시스템에서 최적 제어의 계산 가능한 해가 부족한 문제를 해결한다. 특히 나노기계 및 냉각 응용 분야에서의 적용을 대상으로 한다.
• 초기 분포에서 최종 분포로 가우스-마르코프 과정을 안내하기 위한 최소 에너지 제어 법칙의 명시적이고 구현 가능한 형태를 제공한다.
• 사전에 제어되지 않은 확산 과정 하에서 두 마진 분포 사이의 가장 가능성이 높은 진화(Schrödinger 다리)와 최적 제어 사이의 직접적인 연결을 수립한다.
• 소음이 모든 상태 성분에 작용하지 않는 경우인 열악한 확산에 대해 고전적 Schrödinger 다리 이론을 확장하여, 수치적으로 다룰 수 있는 해를 제공한다.

제안 방법

• 변분 분석를 통해 최적 제어를 유도하여, 유한 시간 간격 동안 제어 에너지를 최소화하는 상태 피드백 형태의 제어를 도출한다.
• 제어 법칙은 시간 t=0과 t=T에서 경계 값이 연결된 한 방향과 반대 방향의 두 개의 결합된 미분 리아푸노프 방정식을 풀어 계산한다.
• 리아푸노프 방정식의 경계 값은 초기 및 최종 상태 공분산 행렬의 비선형 함수로 닫힌 형태로 표현된다.
• 관성 입자와 Nyquist-Johnson 노이즈가 있는 RLC 회로를 포함한 명시적 예제를 통해 성능과 에너지 효율성을 검증한다.
• 최소 에너지 제어와 사전 제어되지 않은 과정에 대한 최소 상대 엔트로피 사이의 등가성을 활용하여, 고전적 Schrödinger 다리 성질을 일반화한다.
• 이 방법은 알고리즘적으로 구현 가능하여 나노기계 시스템의 능동 감쇠 및 냉각 응용에 실용적으로 적용할 수 있다.

실험 결과

연구 질문

• RQ1 소음이 비가역적인 선형 확률적 시스템을 초기 가우시안 분포에서 최종 분포로 계산 가능한 제어 법칙을 사용해 최적으로 안내할 수 있는가?
• RQ2 전체 상태 관측이 가능한 일반적인 가우스-마르코프 과정에 대해 최소 에너지 제어의 명시적 형태는 무엇인가?
• RQ3 결합된 편미분 방정식을 풀지 않고도 최적 제어를 효율적으로 계산할 수 있는가?
• RQ4 최적 제어 경로는 사전에 제어되지 않은 과정 하에서 두 마진 분포 사이의 가장 가능성이 높은 진화(Schrödinger 다리)와 일치하는가?
• RQ5 이 프레임워크는 관성 입자 및 RLC 회로와 같은 실용적 시스템에 대해 능동 냉각 또는 감쇠에 적용 가능한가?

주요 결과

• 최적 제어는 상태 피드백 형태로 명시적으로 주어지며, 초기 및 최종 공분산을 사용하여 닫힌 형태로 표현된 경계 조건을 갖는 두 개의 결합된 미분 리아푸노프 방정식을 통해 계산 가능하다.
• 관성 입자 예제에서는 초기 공분산 Σ₀ = I에서 최종 공분산 Σ₁ = ¼I로 T=1 동안 시스템을 안내하며, 제어 입력이 에너지 소비를 최소화한다.
• RLC 회로 예제에서는 초기 공분산 Σ₀ = ½I에서 최종 공분산 Σ₁ = ¹⁄₁₆I로 냉각되어 열 노이즈의 능동 감쇠가 효과적으로 이루어진다.
• 최적 제어 경로는 두 마진 분포 사이의 가장 가능성이 높은 진화(Schrödinger 다리)와 일치하며, 최소 에너지와 최소 상대 엔트로피 사이의 이중성 관계를 확인한다.
• 이 방법은 소음이 모든 상태 성분에 작용하지 않는 열악한 확산에 대해서도 적용 가능하여, 고전적 Schrödinger 다리 이론을 비가역적인 경우로 확장한다.
• 해는 수치적으로 다룰 수 있으며, 나노기계 및 거시적 진동자에서 실시간 구현을 위한 직접적인 알고리즘 프레임워크를 제공한다.