[논문 리뷰] On Kalman-Bucy filters, linear quadratic control and active inference

Manuel Baltieri, Christopher L. Buckley|arXiv (Cornell University)|2020. 05. 13.

Neural dynamics and brain function참고 문헌 98인용 수 6

한 줄 요약

이 논문은 연속시간 선형 시스템에서 선형 정규화 제어(LQG)와 능동적 추론을 비교하며, 베이지안 추론과 최적 제어의 공통된 수학적 기반을 드러내면서도 비용 함수, 추정 전략, 구현 가정에서의 핵심 차이점을 강조한다. 주요 기여는 두 프레임워크 간의 공식적 매핑으로, 능동적 추론이 추론과 제어를 변분 자유 에너지 최소화 프레임워크에 통합함으로써 LQG를 일반화하지만, 명시적인 리카티 기반 이득을 갖추지 못하고 학습률이나 국소 선형화와 같은 근사 기법에 의존한다는 점을 보여준다.

ABSTRACT

Linear Quadratic Gaussian (LQG) control is a framework first introduced in control theory that provides an optimal solution to linear problems of regulation in the presence of uncertainty. This framework combines Kalman-Bucy filters for the estimation of hidden states with Linear Quadratic Regulators for the control of their dynamics. Nowadays, LQG is also a common paradigm in neuroscience, where it is used to characterise different approaches to sensorimotor control based on state estimators, forward and inverse models. According to this paradigm, perception can be seen as a process of Bayesian inference and action as a process of optimal control. Recently, active inference has been introduced as a process theory derived from a variational approximation of Bayesian inference problems that describes, among others, perception and action in terms of (variational and expected) free energy minimisation. Active inference relies on a mathematical formalism similar to LQG, but offers a rather different perspective on problems of sensorimotor control in biological systems based on a process of biased perception. In this note we compare the mathematical treatments of these two frameworks for linear systems, focusing on their respective assumptions and highlighting their commonalities and technical differences.

연구 동기 및 목표

• LQG 제어와 능동적 추론 간의 관계를 명확히 하여, 수학적 근거는 공유하지만 감각운동 제어에서 다른 예측을 도출하는 두 프레임워크의 관계를 규명한다.
• 연속시간 선형 시스템에서 두 프레임워크의 수학적 형태를 분석하며, 추정(Kalman-Bucy 필터)과 제어(LQR) 구성요소에 중점을 둔다.
• 칼만 이득과 피드백 이득의 사용 여부에 대한 가정, 비용 함수, 그리고 구현 전략에서의 기술적 차이를 규명한다.
• 능동적 추론이 변분 자유 에너지 최소화에 기반한 비용 함수를 사용하는 데 반해 LQG는 비용-지출 최적화를 사용하는 점을 고려할 때, LQG의 일반화로 볼 수 있는지 평가한다.
• 이러한 차이점이 계산 신경과학에서 신경 및 인지 과정을 모델링하는 데 미치는 영향을 부각한다.

제안 방법

• 고도화된 확장(예: 최적 피드백 제어)을 제외한 표준 수식을 사용하여 연속시간 LQG와 능동적 추론 간의 공식적 비교를 수행한다.
• 분리 원리에 기반하여 최적 추정과 제어를 위한 칼만-부치 필터와 LQR의 유도 및 분석을 수행한다.
• LQG에서 비용-지출 기능을 사용하며, 이는 시간에 걸쳐 추정 및 제어 비용의 적분으로 정의되며 향후 기대 비용을 최소화하는 데 목적이 있다.
• 능동적 추론에서 변분 자유 에너지 최소화를 적용하며, 이 비용 기능은 우도 및 사전 분포에서 유도된 예측 오차를 포함한다.
• LQG에서 칼만 이득 K와 피드백 이득 L의 역할을 비교하며, 표준 능동적 추론에서는 이들이 학습률 또는 국소 선형화로 대체된다는 점을 분석한다.
• LQG에서 중심적인 역할을 하는 리카티 방정식이 능동적 추론에 존재하지 않는 점을 분석하고, 페이딩 메모리 칼만 필터가 잠재적 다리 역할을 할 수 있음을 논의한다.

실험 결과

연구 질문

• RQ1 LQG의 비용-지출 기능과 능동적 추론의 변분 자유 에너지 기능은 시간 구조와 제어 정책에 미치는 영향 측면에서 어떻게 다를까?
• RQ2 능동적 추론과 LQG는 선형 연속시간 시스템에서 어느 정도 동일한 수학적 기반을 공유하는가?
• RQ3 표준 능동적 추론 수식에서 칼만 이득과 피드백 이득을 위한 리카티 유형 방정식이 명시적으로 존재하지 않는 이유는 무엇인가?
• RQ4 LQG(후행 분산 기반)와 능동적 추론(확률적, 베이지안 해석 기반) 간의 불확실성과 추정에 대한 가정은 어떻게 다를까?
• RQ5 능동적 추론은 페이딩 메모리 가정 하에서 칼만 필터링의 특수한 경우로 해석될 수 있으며, 이는 LQG와의 관계에 대해 어떤 의미를 갖는가?

주요 결과

• LQG의 비용-지출 기능은 향후 비용을 시간에 걸쳐 통합하지만, 능동적 추론의 변분 자유 에너지는 시간에 의존하지 않아 무한 수렴 근처에서 고정된 피드백 정책을 의미한다.
• 공통된 선형-정규 분포 가정에도 불구하고, 능동적 추론은 칼만 이득이나 피드백 이득을 명시적으로 사용하지 않으며, 온라인 적응을 위해 학습률이나 국소 선형화에 의존한다.
• 표준 능동적 추론 수식에서 리카티 방정식의 부재는 비록 둘 다 불확실성과 제어 오차를 최소화하려는 목표를 공유하더라도, LQG의 해석적 최적화 프레임워크에서의 근본적 이질성을 나타낸다.
• 능동적 추론의 자유 에너지 기능은 공동 우도 및 사전 분포에서 유도된 다중 예측 오차를 포함하며, LQG의 최소 제곱 접근법에서는 결여된 베이지안 유도를 반영한다.
• 페이딩 메모리 칼만 필터는 자연 경사 하강법 및 가우스-뉴턴 방법과 연결될 수 있으며, 이는 능동적 추론이 특정 가정 하에서 확장된 칼만 필터링의 특수한 경우로 나타날 수 있음을 시사한다.
• 두 프레임워크는 동치가 아니다: 능동적 추론은 추론과 제어를 통합된 변분 자유 에너지 최소화 프레임워크에 통합함으로써 LQG를 일반화하지만, 명시적이고 해석적으로 유도된 이득 행렬을 상실하는 대가를 치른다.