[논문 리뷰] Integrating cognitive map learning and active inference for planning in ambiguous environments

Toon Van de Maele, Bart Dhoedt외 2명|arXiv (Cornell University)|2023. 08. 16.

Cognitive Science and MappingComputer Science인용 수 3

한 줄 요약

이 논문은 유사도 기반 인지 지ap 학습과 능동 추론을 융합하여 불확실한 모호한 공간 환경에서의 계획을 가능하게 한다. 예측 자유 에너지의 최소화를 통해 행동 선택을 유도하는 능동 추론을 사용함으로써, 에이전트는 관측이 중복되거나 모호한 상황에서 더 높은 성공률을 달성한다—특히 T-미로 환경에서는 100% 성공률을 기록했고, 탐욕적 클론 그래프 에이전트의 56.75% 성공률을 압도적으로 뛰어넘었다. 이는 단순한 환경에서는 유사한 속도를 유지함으로써 성능을 확보한다.

ABSTRACT

Living organisms need to acquire both cognitive maps for learning the structure of the world and planning mechanisms able to deal with the challenges of navigating ambiguous environments. Although significant progress has been made in each of these areas independently, the best way to integrate them is an open research question. In this paper, we propose the integration of a statistical model of cognitive map formation within an active inference agent that supports planning under uncertainty. Specifically, we examine the clone-structured cognitive graph (CSCG) model of cognitive map formation and compare a naive clone graph agent with an active inference-driven clone graph agent, in three spatial navigation scenarios. Our findings demonstrate that while both agents are effective in simple scenarios, the active inference agent is more effective when planning in challenging scenarios, in which sensory observations provide ambiguous information about location.

연구 동기 및 목표

• 감각 관측이 모호하거나 중복되는 공간 환경에서의 계획 문제를 해결하기 위해.
• 능동 추론이 인지 지도 기반 계획을 향상시켜 에이전트 상태의 맥락 기반 해석을 가능하게 하는지 조사하기 위해.
• 다양한 내비게이션 복잡도에서 단순 클론 그래프 에이전트와 능동 추론 기반 클론 그래프 에이전트의 성능을 비교하기 위해.
• 능동 추론이 정보가 중요한 환경에서 성공률과 의사결정 품질을 향상시키는지 평가하기 위해.
• CSCG를 능동 추론 프레임워크 내에서 구조적이고 맥락 인식 가능한 계획을 위한 효과적인 생성 모델로 사용할 수 있는지 입증하기 위해.

제안 방법

• 클론 구조 인지 그래프(CSCG)는 행동-관측 시퀀스의 결합 확률을 모델링하여, 중복 상태의 맥락 기반 해석을 가능하게 한다.
• 능동 추론은 부분 관측 가능 마르코프 결정 과정(POMDP) 내에서 CSCG를 생성 모델로 설정하여 적용된다.
• 에이전트는 예측 자유 에너지의 최소화를 통해 행동을 선택하며, 이는 은닉 상태에 대한 베이지안 추론을 통해 탐색과 이용의 균형을 이룬다.
• 정책은 예측 자유 에너지에 기반하여 샘플링되며, 이는 선호 행렬과 상태 전이 및 관측 가능성 행렬에 코딩된 사전 믿음에 의존한다.
• 생성 모델은 은닉 상태, 행동, 관측 및 확률적 요소(A, B, C, D 행렬)를 포함하는 요인 그래프로 구현된다.
• 시스템은 변분 추론을 사용하여 은닉 상태의 후행 확률을 근사함으로써 내비게이션 중 실시간 신뢰도 갱신을 가능하게 한다.

(a)

실험 결과

연구 질문

• RQ1 인지 지도 모델과 융합된 능동 추론이 모호한 공간 환경에서의 계획 성능을 향상시킬 수 있는가?
• RQ2 관측이 중복되는 환경에서 능동 추론은 탐욕적 계획 대비 성공률과 의사결정 효율성 측면에서 어떻게 비교되는가?
• RQ3 능동 추론의 사용이 감각 입력이 신뢰성 없거나 맥락에 따라 달라지는 상황에서 에이전트의 현재 상태 해석 능력을 향상시키는가?
• RQ4 어떤 유형의 환경에서 능동 추론이 단순 계획 전략에 비해 뚜렷한 이점을 제공하는가?
• RQ5 CSCG 모델이 공간 내비게이션을 위한 능동 추론 프레임워크 내에서 효과적인 생성 모델로 기능할 수 있는가?

주요 결과

• T-미로 환경에서 능동 추론 에이전트는 100% 성공률을 기록했고, 클론 그래프 에이전트의 56.75% 성공률을 크게 뛰어넘었다(p-value = 6.25×10⁻⁵⁰).
• 능동 추론 에이전트는 목표에 도달하는 데 평균 5단계가 소요되었고, 클론 그래프 에이전트의 4.5단계보다 다소 느렸지만, 이 지연는 정보가 중요한 의사결정에서의 높은 정확도를 고려하면 정당화되었다.
• 오픈 룸 및 미로 환경에서는 두 에이전트가 성공률과 목표 도달 시간 측면에서 유사한 성능을 보였으며, 이는 능동 추론이 명확한 환경에서는 열등한 성능을 보이지 않음을 시사한다.
• 능동 추론 에이전트는 특히 감각 입력이 신뢰성 없거나 맥락에 따라 달라지는 상황에서 상태 정체성의 해석 능력이 뛰어나다는 점을 입증했다.
• CSCG를 능동 추론 프레임워크 내 생성 모델로 통합함으로써 맥락 인식 계획이 가능해졌고, 신뢰도 갱신과 증거 수집을 통해 중복 문제를 해결할 수 있었다.
• 결과는 능동 추론이 특히 잘못된 선택이 에피소드 종료로 이어지는 환경에서 더 신중하고 증거 기반 의사결정을 지원함을 확인한다.

(b)