[논문 리뷰] A Minimal Active Inference Agent

Simon McGregor, Manuel Baltieri외 1명|arXiv (Cornell University)|2015. 03. 13.

Computability, Logic, AI Algorithms참고 문헌 39인용 수 5

한 줄 요약

이 논문은 일차원적이고 이산화된 세계에서 정보적 자유 에너지를 최소화하여 인지와 행동을 수행하는 최소한의 능동적 추론 에이전트를 제시한다. 믿음과 의도를 통합된 '기대'로 간주함으로써, 에이전트는 변분 자유 에너지 목적함수에 대한 경사 하강법을 통해 믿음 갱신과 환경에 대한 행동을 균형 잡히게 하며, 놀라움 최소화라는 단일 원리에서 인지와 행동이 어떻게 유도되는지를 보여준다.

ABSTRACT

Research on the so-called "free-energy principle'' (FEP) in cognitive neuroscience is becoming increasingly high-profile. To date, introductions to this theory have proved difficult for many readers to follow, but it depends mainly upon two relatively simple ideas: firstly that normative or teleological values can be expressed as probability distributions (active inference), and secondly that approximate Bayesian reasoning can be effectively performed by gradient descent on model parameters (the free-energy principle). The notion of active inference is of great interest for a number of disciplines including cognitive science and artificial intelligence, as well as cognitive neuroscience, and deserves to be more widely known. This paper attempts to provide an accessible introduction to active inference and informational free-energy, for readers from a range of scientific backgrounds. In this work introduce an agent-based model with an agent trying to make predictions about its position in a one-dimensional discretized world using methods from the FEP.

연구 동기 및 목표

• 인지과학, 신경과학, 인공지능 분야의 연구자들에게 능동적 추론과 자유 에너지 원리에 대한 접근하기 쉬운 에이전트 기반의 소개를 제공하는 것.
• 철학적 과잉 해석을 피하기 위해 단순한 이산 세계 에이전트 모델에 기반해 능동적 추론의 수학적 체계를 명확히 하는 것.
• 행동과 인지가 자유 에너지 최소화의 원리 아래 어떻게 통합되는지를 보여주며, 믿음과 의도 사이에 사전 정의된 구분이 없음을 입증하는 것.
• 일부 일반적인 오해를 다루며, 예를 들어 '놀라움'을 심리적 놀라움과 동일시하거나 이 이론이 반증 가능하지 않다고 주장하는 것과 같은 오해를 해결하는 것.
• 기계적 메커니즘 설명의 부족과 에르고딕성에 대한 의존성 등 제한 사항을 부각하는 것.

제안 방법

• 에이전트는 유한한 상태 공간을 가진 일차원적이고 시간이 이산화된 세계에서 작동하며, 감각 입력과 행동을 확률 변수로 모델링한다.
• 에이전트는 세계에 대한 내부 믿음을 표현하기 위해 생성 모델을 사용하며, 이는 상태에 대한 확률 분포로 매개변수화된다.
• 에이전트는 변분 자유 에너지 최소화를 통해 기울기 하강법을 사용하며, 이는 믿음 갱신(추론)과 행동 선택(제어)을 모두 이끈다.
• 자유 에너지 기능은 근사 후행분포와 진짜 후행분포 사이의 쿨백-라이블러 발산에서 유도되며, 감각 예측 오차와 모델의 복잡성 모두를 포함한다.
• 이 프레임워크는 믿음과 의도를 통합하는 개념인 '기대'를 확률적 미래 상태 예측으로 간주하며, 행동은 기대와 현실 간의 괴리 해결 수단이 된다.
• 모델은 계산적으로 구현되어 에이전트 행동을 시뮬레이션하며, 자유 에너지 최소화 과정에서 인지와 행동이 어떻게 상호로 공진화하는지를 보여준다.

실험 결과

연구 질문

• RQ1 능동적 추론은 비특화된 연구자들이 이해하기 쉽게 하기 위해 최소한의 에이전트 기반 설정에서 어떻게 수식화될 수 있는가?
• RQ2 믿음과 행동의 사전 정의된 차이 없이도 자유 에너지 최소화 원리 아래에서 얼마나 잘 통합될 수 있는가?
• RQ3 심리적 감정이 아닌 정보적 놀라움으로 '놀라움'을 해석할 경우 어떤 함의가 있는가?
• RQ4 에르고딕성 가정이 생물학적 및 인공 에이전트에서 자유 에너지 최소화의 타당성에 어떤 영향을 미치는가?
• RQ5 자유 에너지 원리는 반증 가능하다고 볼 수 있는가, 아니면 너무 광범위한 설명력을 지니어 과학적으로 검증하기 어려운가?

주요 결과

• 에이전트는 자유 에너지 최소화를 통해 환경에 대한 안정적인 내부 모델을 유지하며, 명시적인 보상 신호 없이도 일관된 인지와 행동을 보여준다.
• 이 프레임워크는 믿음 갱신과 행동 선택을 동일한 최적화 과정 아래 통합하며, 둘 다 기대와 감각 입력 간의 괴리 감소라는 동일한 목표에 의해 이끌림을 보여준다.
• 모델은 믿음과 의도를 통합한 개념인 '기대'가 확률적 미래 상태 예측으로 간주될 수 있으며, 행동은 미래 상태에 대한 예측의 물리적 실현임을 드러낸다.
• 에르고딕성 가정은 수학적으로 편리하지만 생물학적 시스템에서는 문제를 일으키며, 실제 감각 동역학은 거의 시간에 대해 에르고딕적이지 않다.
• 이 프레임워크는 지능적인 기대가 어떻게 처음 생성되는지를 기계적 메커니즘으로 설명하지 못하며, 능동적 추론 에이전트에서 지능의 기원에 대한 메커니즘 설명의 갭이 있음을 시사한다.
• 이론은 그만큼 설명력이 넓어 과학적으로 반증 가능성이 떨어질 수 있으며, 수학적 우아함에도 불구하고 과학적 검증 가능성에 대한 우려를 제기한다.