[논문 리뷰] Active Inference and Intentional Behaviour

Karl Friston, Tommaso Salvatori외 11명|arXiv (Cornell University)|2023. 12. 06.

Gene Regulatory Network Analysis인용 수 5

한 줄 요약

이 논문은 의도적 행동—잠재 상태공간 목표에 의해 지시되는 행동—이 유도 계획을 통한 활동적 추론를 통해 도출되며, 반응적 행동과 정서적 행동과 구별됨을 제안한다. 배양된 신경세포 문화와 격자세계 기준 테스트에서의 시뮬레이션을 통해, 잠재 상태공간에 직접 목표를 설정함으로써 자유 에너지 최소화를 통한 빠르고 효율적이며 장기적인 계획 수립이 가능하며, 전통적인 보상 기반 강화학습 접근법을 능가함을 보여준다.

ABSTRACT

Recent advances in theoretical biology suggest that basal cognition and sentient behaviour are emergent properties of in vitro cell cultures and neuronal networks, respectively. Such neuronal networks spontaneously learn structured behaviours in the absence of reward or reinforcement. In this paper, we characterise this kind of self-organisation through the lens of the free energy principle, i.e., as self-evidencing. We do this by first discussing the definitions of reactive and sentient behaviour in the setting of active inference, which describes the behaviour of agents that model the consequences of their actions. We then introduce a formal account of intentional behaviour, that describes agents as driven by a preferred endpoint or goal in latent state-spaces. We then investigate these forms of (reactive, sentient, and intentional) behaviour using simulations. First, we simulate the aforementioned in vitro experiments, in which neuronal cultures spontaneously learn to play Pong, by implementing nested, free energy minimising processes. The simulations are then used to deconstruct the ensuing predictive behaviour, leading to the distinction between merely reactive, sentient, and intentional behaviour, with the latter formalised in terms of inductive planning. This distinction is further studied using simple machine learning benchmarks (navigation in a grid world and the Tower of Hanoi problem), that show how quickly and efficiently adaptive behaviour emerges under an inductive form of active inference.

연구 동기 및 목표

• 보상 함수가 아닌 잠재 상태공간에서 목표를 정의함으로써 활동적 추론 내에서 의도적 행동을 형식화하는 것.
• 자유 에너지 최소화와 예측 코드를 사용하여 반응적, 정서적, 의도적 행동을 구분하는 것.
• 유도 계획이 신경세포 시뮬레이션과 고전적 계획 과제에서 빠르고 효율적이며 목표 지향적인 행동을 가능하게 함을 보여주는 것.
• 외부 보상 없이도 배양된 신경세포 문화에서 자가증명 행동이 자유 에너지 최소화에 기인함을 검증하는 것.
• 유도 계획이 장기 계획의 범위와 단기 추론의 효율성을 결합하는 정도를 보여주는 것.

제안 방법

• 신경망 내 자가조직화와 학습을 설명하기 위해 에이전트를 변분 자유 에너지 최소화로 모델링하는 것.
• Pong 유사 과제에서 배양된 신경세포 문화 행동을 시뮬레이션하기 위해 중첩된 자유 에너지 최소화 프로세스를 구현하는 것.
• 목표가 잠재 상태공간 내 선호되는 종점으로 정의되는 유도 계획을 통해 의도적 행동을 정의하는 것.
• 목표 상태로 향하는 기대 자유 에너지를 최소화하는 정책을 계산하기 위해 역행 추론을 사용하는 것.
• 격자세계 탐색 및 하노이의 탑 문제와 같은 벤치마크 과제에 대해 유도 계획을 적용하는 것.
• 목표 상태를 향한 미래 잠재 상태에 대한 정확한 사전 확률로 간주함으로써 계획을 추론로 형식화하는 것.

실험 결과

연구 질문

• RQ1 활동적 추론 프레임워크 내에서 의도적 행동은 어떻게 반응적 행동과 정서적 행동과 형식적으로 구별될 수 있는가?
• RQ2 유도 계획은 효율적이고 장기적인 목표 지향 행동을 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 외부 보상이나 강화학습 없이도 배양된 신경세포 문화가 적응적이고 목표 지향적인 행동을 보일 수 있는가?
• RQ4 잠재 상태공간에 목표를 설정하는 것이 보상 기반 접근법에 비해 계획 효율성을 어떻게 향상시키는가?
• RQ5 자유 에너지 최소화는 생물학적 및 인공 시스템에서 자가증명 및 목적론적 행동을 얼마나 잘 설명하는가?

주요 결과

• 배양된 신경세포 문화는 외부 보상이나 강화 없이도 자유 에너지 최소화를 통해 Pong을 자발적으로 플레이하는 데 성공했다.
• 반응적, 정서적, 의도적 행동 간의 구분은 자유 에너지 최소화의 구조와 유도 계획의 사용에 의해 자연스럽게 도출된다.
• 유도 계획은 하노이의 탑과 격자세계 과제에서 최적 해에 빠르게 수렴시키며, 표준 모델리스 및 모델기반 강화학습을 능가했다.
• 의도적 행동은 최종 잠재 상태에 대한 정확한 사전 확률을 갖는 기대 자유 에너지 최소화로 형식화되었으며, 이는 장기 계획을 가능하게 했다.
• 이 프레임워크는 놀라움 최소화와 확률적 추론만으로도 복잡한 목표 지향 행동을 달성할 수 있음을 설명한다.
• 결과는 기저 인지와 정서가 외부 보상 신호 없이도 신경계에서 자유 에너지 최소화에 의해 유도된다는 가설을 지지한다.