[논문 리뷰] Control flow in active inference systems

Chris Fields, Filippo Fabrocini외 5명|arXiv (Cornell University)|2023. 02. 25.

Neural dynamics and brain function인용 수 5

한 줄 요약

이 논문은 자유 에너지 원리에 의해 지배되는 활성 추론 시스템의 제어 흐름이 항상 텐서 네트워크(TN)로 표현될 수 있음을 입증하며, 생물학적 척도 전반에서 맥락 민감한 의사결정의 보편적인 형식론을 제공한다. 또한, 위상적 양자 신경망(TQNN)이 이러한 TN 기반 제어 시스템을 어떻게 구현할 수 있는지 보여주며, 세포에서 뇌에 이르기까지 확장 가능하고 계층적이며 강건한 추론을 가능하게 한다.

ABSTRACT

Living systems face both environmental complexity and limited access to free-energy resources. Survival under these conditions requires a control system that can activate, or deploy, available perception and action resources in a context specific way. We show here that when systems are described as executing active inference driven by the free-energy principle (and hence can be considered Bayesian prediction-error minimizers), their control flow systems can always be represented as tensor networks (TNs). We show how TNs as control systems can be implmented within the general framework of quantum topological neural networks, and discuss the implications of these results for modeling biological systems at multiple scales.

연구 동기 및 목표

• 자유 에너지 원리에 의해 지배되는 활성 추론 시스템에서 맥락 민감한 제어 흐름 문제를 형식화하기.
• 생물학적 척도 전반에서 텐서 네트워크(TN)를 사용하여 제어 흐름의 보편적인 수학적 표현을 수립하기.
• 위상적 양자 신경망(TQNN)이 TN 기반 제어 시스템을 어떻게 실현할 수 있는지 보여주어 적응적이고 계층적인 추론을 가능하게 하기.
• 척도에 관계없이 베이지안 프레임워크를 통해 물리적, 인지적, 계산적 기술을 통합하기.

제안 방법

• 흡인자 그림, 양자 기준 프레임(QRF) 그림, 위상적 양자 장 이론(TQFT) 그림의 세 가지 상호보완적 프레임워크를 통해 제어 흐름을 형식화하기.
• 홀로그래픽 dualit 및 변분 자유 에너지 최소화를 활용하여 제어 흐름을 텐서 네트워크(TN)로 표현하기.
• 위상적 양자 신경망(TQNN)의 일반적 아키텍처 내에서 TN을 구현하여 계층적이고 맥락 의존적인 추론을 모델링하기.
• TN과 TQNN에 기하학적 재정규화 그룹(RG) 흐름을 적용하여 척도 불변 동역학과 정보 처리를 포착하기.
• TN을 분류기로 사용하여 활성 추론에서 정책 선택을 모델링하기. 이 경우 내부 상태는 환경 원인에 대한 사후 확률 믿음을 인코딩한다.
• 표준 기계 학습 아키텍처(예: 트랜스포머, CNN)를 TN 기반 제어 시스템의 특수한 경우로 일반화하기.

Figure 1: Cartoon illustration of QRFs required to observe and write a readable memory of an environmental state $|E\rangle$ . The QRFs $\mathbf{E}$ and $\mathbf{Y}$ read the state from $E$ and write it to the memory $Y$ respectively. Any identified system $S$ must be part of $E$ . The clock $\mathc

실험 결과

연구 질문

• RQ1 자유 에너지 원리에 의해 지배되는 활성 추론 시스템의 제어 흐름이 생물학적 척도나 복잡성에 관계없이 항상 텐서 네트워크로 표현될 수 있는가?
• RQ2 텐서 네트워크는 위상적 양자 신경망(TQNN) 프레임워크 내에서 어떻게 실현되어 적응적이고 맥락 민감한 행동을 모델링할 수 있는가?
• RQ3 기하학적 재정규화 그룹(RG) 흐름은 TN 기반 추론 시스템에서 척도 불변 제어를 가능하게 하는 데 어떤 역할을 하는가?
• RQ4 TN은 활성 추론과 자유 에너지 최소화의 맥락에서 기존의 딥 러닝 아키텍처를 어떻게 일반화하는가?
• RQ5 텐서 네트워크는 매크로분자 경로에서 다세포 집단에 이르기까지 제어를 모델링하기 위해 공통의 형식적 언어로 어떻게 작용하는가?

주요 결과

• 자유 에너지 원리에 의해 지배되는 활성 추론 시스템의 제어 흐름은 항상 텐서 네트워크(TN)로 표현 가능하며, 맥락 민감한 의사결정을 위한 형식적이고 척도에 관계없는 프레임워크를 제공한다.
• 텐서 네트워크는 위상적 양자 신경망(TQNN) 내에서 실현 가능하며, 추론과 정책 선택의 기하학적·위상적 기술을 가능하게 한다.
• TN과 TQNN에 기하학적 재정규화 그룹(RG) 흐름을 적용함으로써 생물학적 정보 처리와 일치하는 계층적이고 척도 불변의 동역학이 드러난다.
• 트랜스포머와 컨volution 네트워크와 같은 표준 기계 학습 아키텍처는 활성 추론 프레임워크 하에서 TN 기반 제어 시스템의 특수한 경우로 밝혀진다.
• 이 프레임워크는 매크로분자 경로에서 다세포 집단에 이르기까지 생물학적 제어를 통합적으로 기술할 수 있으며, TN의 구조에 기억, 주의, 예측 기능을 인코딩한다.
• 결과적으로 생물학적 시스템의 의사소통, 예를 들어 스티그머지적 신호전달과 세포 간 신호전달도 TN 기반 추론을 통해 매개되는 예측적이고 언어 유사한 상호작용의 한 형태로 이해될 수 있다.