[논문 리뷰] Active Inference in String Diagrams: A Categorical Account of Predictive Processing and Free Energy

Sean Tull, Johannes Kleiner외 1명|arXiv (Cornell University)|2023. 08. 01.

Philosophy and History of Science인용 수 5

한 줄 요약

이 논문은 복사 및 폐기 기능을 갖춘 모나이드 카테고리에서의 스트링 다이어그램을 사용하여 예측 처리와 능동적 추론의 범주론적, 다이어그램 기반 공식을 제시한다. 자유 에너지 최소화를 통한 능동적 추론 공식의 완전한 그래픽적 유도를 제공하며, 변분 자유 에너지의 구성성 성질을 확립하여 계층적 시스템 수준에서의 응용을 가능하게 한다.

ABSTRACT

We present a categorical formulation of the cognitive frameworks of Predictive Processing and Active Inference, expressed in terms of string diagrams interpreted in a monoidal category with copying and discarding. This includes diagrammatic accounts of generative models, Bayesian updating, perception, planning, active inference, and free energy. In particular we present a diagrammatic derivation of the formula for active inference via free energy minimisation, and establish a compositionality property for free energy, allowing free energy to be applied at all levels of an agent's generative model. Aside from aiming to provide a helpful graphical language for those familiar with active inference, we conversely hope that this article may provide a concise formulation and introduction to the framework.

연구 동기 및 목표

• 범주론을 사용하여 예측 처리와 능동적 추론의 개념적으로 명확하고, 구성성 있으며, 그래픽적인 공식화를 제공하기 위해.
• 능동적 추론에서 베이지안 업데이트, 인지, 계획 및 자유 에너지 최소화에 대한 공식적인 다이어그램 기반 처리의 부족을 해결하기 위해.
• 자유 에너지 최소화가 계층적 생성 모델을 통해 구성 가능함을 입증하여 모든 시스템 수준에서의 적용을 가능하게 하기 위해.
• 열린 생성 모델과 이러한 모델을 위한 변분 자유 에너지의 도입을 통해 모듈러한 추론을 지원하기 위해.
• 능동적 추론과 cd-카테고리 및 마르코프 카테고리와 같은 범주론적 프레임워크 사이의 격차를 메우며, 인지과학과 인공지능에서의 추론을 위한 새로운 언어를 제공하기 위해.

제안 방법

• cd-카테고리(예: 유한 이산 시스템의 MatR+)에서 생성 모델, 인지, 계획을 스트링 다이어그램으로 공식화하기 위해.
• 스트링 다이어그램을 사용하여 베이지안 업데이트를 표현하며, 제피리 등과 페르의 업데이트를 포함한 부드러운 관측과 변분 자유 에너지(VFE) 업데이트를 포함하기 위해.
• 인식과 계획 다이어그램을 조합하여 활동적 추론 공식을 순수하게 그래픽적으로 유도함으로써 전통적인 확률 계산을 피하기 위해.
• 더 큰 모델의 모듈러하고 계층적인 조합을 지원하기 위해 입력을 갖춘 열린 생성 모델을 도입하기 위해.
• 열린 모델을 위한 변분 자유 에너지의 정의와 그 구성성의 증명: 전역 VFE 최소화가 하위 모델에서 국소적으로 최소화하는 것으로 감소함을 보여주기 위해.
• cd-카테고리의 구조를 활용하여 조건부 부여와 근사화를 포함한 확률적 추론이 완전히 다이어그램 기반이고 구성 가능하도록 보장하기 위해.

실험 결과

연구 질문

• RQ1 능동적 추론과 자유 에너지 최소화는 어떤 범주론적 프레임워크에서 스트링 다이어그램을 사용하여 완전히 공식화될 수 있는가?
• RQ2 표준 활동적 추론 공식은 생성 모델의 고수준 구조에서 순수하게 그래픽적으로 도출될 수 있는가?
• RQ3 자유 에너지 최소화는 계층적 또는 모듈러한 생성 모델에 적용될 때 구성성 성질을 보이는가?
• RQ4 부드러운 관측과 다양한 형태의 베이지안 업데이트(Jeffrey, Pearl, VFE)는 다이어그램 기반의 범주론적 프레임워크에 어떻게 통합되는가?
• RQ5 범주론적이고 구성적인 시각은 특히 의식과 인과적 추론과 관련하여 활동적 추론에 어떤 새로운 통찰을 제공하는가?

주요 결과

• 스트링 다이어그램의 조합을 통해 활동적 추론 공식의 완전한 그래픽적 유도를 달성하였으며, 표준 결과에 대한 투명하고 원칙적인 근거를 제공한다.
• 논문은 변분 자유 에너지(VFE)의 구성성이 입증되었다: 전역 VFE를 최소화하는 시스템은 각 하위 모델에서 국소적으로 VFE를 최소화함으로써 이를 달성할 수 있다.
• 입력을 갖춘 열린 생성 모델이 공식적으로 도입되었으며, 복잡한 모델의 모듈러한 구축과 계층적 추론을 지원한다.
• 이 프레임워크는 부드러운 관측과 다양한 형태의 베이지안 업데이트(Jeffrey, Pearl, VFE)를 자연스럽게 수용하며, VFE 업데이트가 구성성과 호환됨을 보여준다.
• 범주론적 접근은 인지, 계획, 추론에 대한 통합적이고 고수준의 언어를 제공하며, 인공지능과 인지과학에의 통합 가능성이 있다.
• 결과는 연속적인 설정, 메시지 전달 알고리즘, 그리고 간섭을 통한 인과적 추론으로의 프레임워크 확장을 위한 기반을 마련한다.