[논문 리뷰] Active Inference or Control as Inference? A Unifying View

Joe Watson, Abraham Imohiosen외 1명|arXiv (Cornell University)|2020. 10. 01.

Neural dynamics and brain function참고 문헌 25인용 수 4

한 줄 요약

이 논문은 제어 이론을 통한 활동적 추론(Active Inference, AI)과 제어 이론을 통한 추론(Control as Inference, CaI)을 통합하여, AI를 부분 관측된 CaI 문제로 재구성한다. 여기서 제어 목표는 확률적 관측 모델로 간주된다. 이는 AI의 자유 에너지 최소화가 변분 추론을 통한 최적 제어와 동치임을 보여주며, 근거 있는, 확장 가능한, 불확실성 인식이 가능한 센서모터 제어를 근사 추론을 통해 실현한다.

ABSTRACT

Active inference (AI) is a persuasive theoretical framework from computational neuroscience that seeks to describe action and perception as inference-based computation. However, this framework has yet to provide practical sensorimotor control algorithms that are competitive with alternative approaches. In this work, we frame active inference through the lens of control as inference (CaI), a body of work that presents trajectory optimization as inference. From the wider view of `probabilistic numerics', CaI offers principled, numerically robust optimal control solvers that provide uncertainty quantification, and can scale to nonlinear problems with approximate inference. We show that AI may be framed as partially-observed CaI when the cost function is defined specifically in the observation states.

연구 동기 및 목표

• 활동적 추론의 이론적 및 알고리즘적 투명성 부족 문제를 해결하기 위해, 제어 이론을 통한 추론(CaI)의 시각에서 활동적 추론을 재해석한다.
• AI의 통찰을 유지하면서도 실용적 구현이 가능한 계산적으로 타당하고 이론적으로 탄탄한 센서모터 제어 프레임워크를 제공한다.
• 변분 추론과 자유 에너지 최소화를 활용하여, 단일 확률적 추론 프레임워크 내에서 상태 추정과 제어를 통합한다.
• 활동적 추론이 원칙적인 추론과 불확실성 정량화를 갖춘 부분 관측 최적 제어 문제로 재구성될 수 있음을 보여준다.
• CaI의 강력한 수치 기반 구조를 바탕으로, 순차 몬테카를로 및 변분 추론과 같은 근사 추론 방법을 통해 확장 가능하고 비선형적인 제어를 실현한다.

제안 방법

• 제어 목표가 확률적 관측 모델로 표현되는 부분 관측된 제어 이론을 통한 추론(CaI) 문제로 활동적 추론을 재구성한다.
• 변분 추론을 사용하여 진짜 후행분포와 변분 근사 간의 쿨백-라이블러 발산을 최소화하며, 주변 가능도의 하한(ELBO)을 도출한다.
• 자유 에너지 목적함수를 두 항의 합으로 표현한다: 과거 시간 단계에 대한 상태 추정과 향후 시간 단계에 대한 최적 제어이며, 시간에 따라 변하는 관측 모델을 사용한다.
• 시간에 따라 변화하는 관측 모델을 도입하여, 계획 수준 τ에서 측정 정밀도(추정)에서 비용 기반 가능도(제어)로 전환된다.
• 비선형 및 비정규 분포 시스템을 다루기 위해 순차 몬테카를로 및 가우시안 근사와 같은 근사 추론 기법을 적용한다.
• 단일 변분 자유 에너지 최소화를 통해 과거 상태 추정과 향후 제어를 통합하는 목적함수(식 15)를 유도한다.

실험 결과

연구 질문

• RQ1 활동적 추론이 공식적으로 제어 이론을 통한 추론(CaI) 문제로 재해석될 수 있는가? 이는 계산의 명확성과 실용성 향상에 기여하는가?
• RQ2 활동적 추론의 자유 에너지 원리가 불확실성 정량화를 갖춘 원칙적인 최적 제어 공식화로 어떻게 매핑될 수 있는가?
• RQ3 단일 확률적 추론 프레임워크 내에서 상태 추정과 제어를 통합하는 데 있어 관측 모델의 역할은 무엇인가?
• RQ4 시간에 따라 변화하는 관측 모델이 단일 프레임워크 내에서 상태 추정에서 궤적 최적화로의 원활한 전환을 어떻게 가능하게 하는가?
• RQ5 제안된 통합이 이론적 엄밀성을 유지하면서도 근사 추론을 통해 확장 가능하고 비선형적인 제어를 실현할 수 있는가?

주요 결과

• 활동적 추론은 제어 목표가 확률적 관측 모델로 표현되는 부분 관측된 제어 이론을 통한 추론 문제로 공식적으로 동치이다.
• 제안된 프레임워크는 시간에 따라 변화하는 관측 모델을 통해 과거 상태 추정과 향후 제어를 단일 변분 자유 에너지 목적함수에 통합한다. 이 모델은 계획 수준 τ에서 측정 정밀도에서 비용 기반 가능도로 전환된다.
• 선형 가우시안 케이스에서는 최적 선형 제곱조절기(LQR) 해를 회복하며, 고전적 제어 이론과의 일관성을 입증한다.
• 원칙적인 베이지안 추론을 통해 불확실성 정량화와 강건성을 실현하며, 근사 추론 기법을 통해 비선형 시스템으로의 확장이 가능하다.
• 일반적인 정책 클래스에 직접 정책 탐색을 수행하는 것보다, $ q_{\bm{\theta}}({\bm{x}}_t, {\bm{u}}_t) $를 통한 상태와 제어의 동시 추론이 더 정보가 풍부한 정책을 제공한다.
• 활동적 추론의 표준 버전에 비해 계산의 명확성과 실용적 구현 가능성 면에서 뛰어나며, 특히 비선형 및 고차원 설정에서 유의미한 성능 향상을 보인다. 이는 확률적 수치해법과 강력한 최적화 기반에 기반하기 때문이다.