[논문 리뷰] From pixels to planning: scale-free active inference

Karl Friston, Conor Heins외 8명|arXiv (Cornell University)|2024. 07. 27.

Computability, Logic, AI Algorithms인용 수 4

한 줄 요약

이 논문은 경로를 잠재 변수로 간주함으로써 부분 관측 가능한 마르코프 결정 과정을 확장하는 스케일 불변성이고 이산 상태공간 기반의 보정 가능한 생성 모델(RGMs)을 소개한다. 변분 추론과 보정 그룹 원리에 기반하여 RGMs는 공간과 시간을 아우르는 구성적이고 계층적인 표현의 엔드 투 엔드 학습을 가능하게 하며, 이미지 분류, 영상/음악 생성, 아케이드 유사 환경에서의 계획 등에 적용되어 아키텍처 편향 없이 스케일 자유로운 계층적 추론을 달성한다.

ABSTRACT

This paper describes a discrete state-space model -- and accompanying methods -- for generative modelling. This model generalises partially observed Markov decision processes to include paths as latent variables, rendering it suitable for active inference and learning in a dynamic setting. Specifically, we consider deep or hierarchical forms using the renormalisation group. The ensuing renormalising generative models (RGM) can be regarded as discrete homologues of deep convolutional neural networks or continuous state-space models in generalised coordinates of motion. By construction, these scale-invariant models can be used to learn compositionality over space and time, furnishing models of paths or orbits; i.e., events of increasing temporal depth and itinerancy. This technical note illustrates the automatic discovery, learning and deployment of RGMs using a series of applications. We start with image classification and then consider the compression and generation of movies and music. Finally, we apply the same variational principles to the learning of Atari-like games.

연구 동기 및 목표

• 장거리 시간적 및 공간적 조합성을 지원하는 스케일 불변성이고 계층적인 생성 모델을 개발하는 것.
• 이산 상태공간 프레임워크에서 궤적을 잠재 변수로 간주함으로써 인지와 계획을 활성 추론의 틀 안에서 통합하는 것.
• 시각 데이터(이미지, 영상, 음악, 게임 등)에서 구성적 구조의 자동 발견 및 학습을 가능하게 하되, 아키텍처에 대한 인덕티브 편향 없이 수행하는 것.
• 정적 이미지 분류부터 아케이드 유사 환경에서의 동적 순차적 의사결정까지 다양한 도메인에 적용 가능성을 입증하는 것.
• 보정 그룹 원리에 기반한 계층적 추상화를 통해 딥 러닝 아키텍처와 활성 추론 간의 형식적 연결을 구축하는 것.

제안 방법

• 잠재 변수가 경로 또는 궤적을 나타내는 이산 상태공간 모델을 제안하여 부분 관측 가능한 마르코프 결정 과정을 확장한다.
• 잠재 경로와 상태에 대한 근사 베이지안 추론을 수행하기 위해 자유 에너지 최소화를 활용한 변분 추론을 적용한다.
• 공간적 및 시간적 스케일에 걸쳐 표현을 계층적으로 군집화하기 위해 보정 그룹(RG) 원리를 적용한다.
• 반복적인 군집화와 재구성 과정을 통해 구성적 특징을 학습하는 계층적 다수준 생성 모델을 사용한다.
• 인식과 계획을 경로 추론을 통해 통합하는 일관된 활성 추론 엔진에 프레임워크를 통합한다.
• 일반화된 운동 좌표를 활용하여 이산적이고 스케일 불변적인 방식으로 연속적인 동역학을 모델링한다.

실험 결과

연구 질문

• RQ1 일관된 스케일 자유 생성 모델이 이미지, 영상, 음악, 게임 환경 등 다양한 모odalities에서 계층적 표현을 학습할 수 있는가?
• RQ2 경로 또는 궤적 추론을 생성 모델 내 잠재 변수로 통합하여 인식과 계획을 동시에 지원할 수 있는가?
• RQ3 보정 그룹 원리가 아키텍처 편향 없이 계층적이고 구성적으로 구조화된 표현을 구축하는 데 얼마나 효과적인가?
• RQ4 동일한 변분 추론 프레임워크가 동적 환경에서의 생성 모델링과 의사결정 모두를 지원할 수 있는가?
• RQ5 모델의 스케일 불변성이 다양한 시간적 및 공간적 스케일에서 견고한 학습과 일반화를 가능하게 하는가?

주요 결과

• RGM 프레임워크는 원시 픽셀에서 계층적이고 구성적인 표현을 성공적으로 학습하여 최소한의 인덕티브 편향으로 엔드 투 엔드 이미지 분류를 달성한다.
• 경로 추론을 통해 장거리 시간적 의존성을 학습함으로써 영상 및 음악 시퀀스의 효과적인 압축과 생성을 달성한다.
• 아케이드 유사 환경에서 모델은 자유 에너지 최소화를 목표로 최적의 행동 시퀀스(경로)를 추론함으로써 계획을 수행하며, 의사결정에서 활성 추론의 성능을 입증한다.
• 계층적 구조는 스케일 자유 추론을 가능하게 하며, 더粗모임 수준의 표현은 추상적이고 장기적인 역학을 포괄하고, 더 세밀한 수준은 국소적 세부 정보를 유지한다.
• 스케일 및 해상도에 대한 내재된 불변성 덕분에 분포 이동에 대한 강건성과 작업 간 일반화 능력이 입증된다.
• 보정 그룹 원리의 활용은 시간적 및 공간적 해상도의 다수 수준에서 체계적인 추상화를 가능하게 하며, 고정된 아키텍처 없이 딥 네트워크의 계층적 구조를 모방한다.