[논문 리뷰] Modeling motor control in continuous-time Active Inference: a survey

Matteo Priorelli, Federico Maggiore외 6명|arXiv (Cornell University)|2023. 10. 08.

Embodied and Extended CognitionNeuroscience인용 수 3

한 줄 요약

이 논문은 운동 조정을 위한 연속시간 형태의 능동 추론(active inference)을 제안하며, 목적 향한 도달, 능동 감지, 다감각 갈등 해소, 자유 에너지 최소화 프레임워크 내에서의 의사결정을 통합한다. 행동을 감각 결과의 예측으로 모델링하고, 은닉 상태의 동역학을 기술하기 위해 미분방정식을 사용함으로써, 사전 정의된 비용 함수 없이도 생물학적으로 타당하고 적응 가능한 운동 조정을 가능하게 한다.

ABSTRACT

The way the brain selects and controls actions is still widely debated. Mainstream approaches based on Optimal Control focus on stimulus-response mappings that optimize cost functions. Ideomotor theory and cybernetics propose a different perspective: they suggest that actions are selected and controlled by activating action effects and by continuously matching internal predictions with sensations. Active Inference offers a modern formulation of these ideas, in terms of inferential mechanisms and prediction-error-based control, which can be linked to neural mechanisms of living organisms. This article provides a technical illustration of Active Inference models in continuous time and a brief survey of Active Inference models that solve four kinds of control problems; namely, the control of goal-directed reaching movements, active sensing, the resolution of multisensory conflict during movement and the integration of decision-making and motor control. Crucially, in Active Inference, all these different facets of motor control emerge from the same optimization process - namely, the minimization of Free Energy - and do not require designing separate cost functions. Therefore, Active Inference provides a unitary perspective on various aspects of motor control that can inform both the study of biological control mechanisms and the design of artificial and robotic systems.

연구 동기 및 목표

• 목적 향한 도달, 능동 감지, 다감각 갈등 해소, 의사결정과 같은 운동 조정의 다양한 측면을 하나의 계산 프레임워크로 통합하기 위해.
• 은닉 상태, 행동, 감각 예측의 동역학을 기술하기 위해 미분방정식을 사용하여 연속시간에서의 능동 추론을 수식화하기 위해.
• 모든 운동 조정 측면이 자유 에너지 최소화에서 자연스럽게 유도되며, 수작업으로 정의된 비용 함수가 필요로 하지 않음을 입증하기 위해.
• 계층적 예측 코딩을 딥 네ural 네트워크와 연결함으로써 이론적 신경과학과 실용적 구현을 연결하기 위해.
• 학습 정밀도 가중치 및 뇌 유사 계층에서 국소 메시지 전파를 가능하게 하는 등의 핵심 열린 과제를 규명하기 위해.

제안 방법

• 은닉 상태와 행동의 동역학을 기술하기 위해 확률적 미분방정식을 사용하여 연속시간에서의 능동 추론을 수식화한다.
• 생산 과정의 구조를 반영하는 생성 모델을 구성하며, 은닉 상태에서 감각 관측(예: 체성감각, 촉각)으로의 선형 사상이 포함된다.
• 자유 에너지 원리를 적용하여 변분 베이지안 추론을 통해 제어 정책을 유도하며, 예측된 감각 입력과 실제 감각 입력 간의 발산을 최소화한다.
• 고차원 신념이 목표 상태(설정점)를 나타내고, 저차원에서 운동 및 감각 예측을 표현하는 계층적 구조를 사용한다.
• 예측 오차가 수정 행동을 이끄는 TOTE 유사 제어 루프를 적용하여, 피드백 기반의 닫힌 루프 제어를 가능하게 한다.
• 능동 감지를 통합하기 위해 행동 선택이 목표 도달 외에도 환경 상태에 대한 불확실성을 줄이기 위해 통제된 탐색을 통해 이루어지도록 한다.

실험 결과

연구 질문

• RQ1 능동 추론을 연속시간에서 어떻게 수식화할 수 있으며, 운동 조정의 동역학을 모델링할 수 있는가?
• RQ2 자유 에너지 최소화라는 동일한 최적화 과정이 도달, 능동 감지, 갈등 해소와 같은 다양한 운동 조정 문제를 통합할 수 있는가?
• RQ3 근접한 감각 결과(예: 체성감각)만 예측하는 생성 모델이 명시적인 표현 없이도 원거리 환경 상태(예: 물체의 거리)를 암묵적으로 추론할 수 있는가?
• RQ4 실용적인 능동 추론 구현에서 계층적 예측 코딩 원리가 딥 네ural 네트워크와 어떻게 통합될 수 있는가?
• RQ5 현재의 구현에서 뇌 유사 계층에서 정밀도 제어 및 국소 메시지 전파를 다루는 데에 어떤 한계가 존재하는가?

주요 결과

• 연속시간 능동 추론 프레임워크는 의도한 감각 결과와 실제 감각 결과 간의 예측 오차 최소화를 통해 목적 향한 도달을 성공적으로 모델링한다.
• 능동 감지는 동일한 최적화 과정에서 자연스럽게 유도되며, 행동 선택이 환경 상태에 대한 불확실성을 줄이기 위해 이루어진다.
• 다감각 갈등은 예측 오차 최소화를 통해 해소되며, 충돌하는 감각 자극은 은닉 상태에 대한 믿음 조정을 통해 조율된다.
• 의사결정과 운동 조정의 통합은 은닉 상태에 대한 공통된 믿음 갱신을 통해 이루어지며, 별도의 의사결정 및 제어 모듈이 필요로 하지 않는다.
• 근접한 감각 결과(예: 털날의 움직임 피드백)만 예측하는 생성 모델은 적응적인 운동 조정을 통해 원거리 상태(예: 물체의 거리)를 암묵적으로 추론할 수 있다.
• 현재의 구현은 종종 정밀도 행렬을 고정하고 국소 메시지 전파를 생략함으로써, 생물학적으로 타당한 아키텍처와 딥 러닝 기반의 능동 추론 모델 간 격차를 드러낸다.