[논문 리뷰] Active Tree Search in Large POMDPs.

Domenico Maisto, Francesco Gregoretti외 2명|arXiv (Cornell University)|2021. 03. 25.

Memory and Neural Mechanisms참고 문헌 93인용 수 9

한 줄 요약

이 논문은 신경과학에서 유래한 주도적 추론(Active Inference)과 인공지능에서 유래한 몬테카를로 계획(Monte-Carlo planning)을 융합하여, 대규모 부분관측 마르코프 결정과정(POMDPs)에서 확장 가능하고 생물학적으로 현실적인 계획을 가능하게 하는 새로운 방법인 Active Tree Search를 제안한다. 주도적 추론의 원칙적인 탐색-이용 균형과 몬테카를로 트리 검색의 확장성의 통합을 통해, 바이너리 트리와 Rocksample과 같은 도전적인 POMDP 문제를 성공적으로 해결하면서, 해마와 전두엽 피질과 같은 뇌 영역에서 관찰된 신경생리학적 반응을 시뮬레이션한다.

ABSTRACT

Model-based planning and prospection are widely studied in both cognitive neuroscience and artificial intelligence (AI), but from different perspectives - and with different desiderata in mind (biological realism versus scalability) that are difficult to reconcile. Here, we introduce a novel method to plan in large POMDPs - Active Tree Search - that combines the normative character and biological realism of a leading planning theory in neuroscience (Active Inference) and the scalability of Monte-Carlo methods in AI. This unification is beneficial for both approaches. On the one hand, using Monte-Carlo planning permits scaling up the biologically grounded approach of Active Inference to large-scale problems. On the other hand, the theory of Active Inference provides a principled solution to the balance of exploration and exploitation, which is often addressed heuristically in Monte-Carlo methods. Our simulations show that Active Tree Search successfully navigates binary trees that are challenging for sampling-based methods, problems that require adaptive exploration, and the large POMDP problem Rocksample. Furthermore, we illustrate how Active Tree Search can be used to simulate neurophysiological responses (e.g., in the hippocampus and prefrontal cortex) of humans and other animals that contain large planning problems. These simulations show that Active Tree Search is a principled realisation of neuroscientific and AI theories of planning, which offers both biological realism and scalability.

연구 동기 및 목표

• 대규모 POMDPs로 생물학적으로 기반을 둔 계획 이론을 확장하는 데 도전하는 것과 동시에 그 정규성 및 신경과학적 타당성을 유지하는 것.
• 기존 몬테카를로 계획 방법에서 탐색-이용 균형을 수월하게 다루는 데서 벗어나 주도적 추론의 원칙을 통합함으로써 이를 해결하는 것.
• 복잡한 의사결정 과정 동안 해마와 전두엽 피질과 같은 뇌 영역에서 관찰된 신경생리학적 반응을 시뮬레이션할 수 있도록 하는 것.
• 주도적 추론의 생물학적 현실성과 몬테카를로 트리 검색의 계산적 확장성의 두 가지를 통합한 통합 프레임워크를 개발하는 것.

제안 방법

• Active Tree Search는 주도적 추론의 자유 에너지 원리(free energy principle)를 몬테카를로 트리 검색 프레임워크에 통합하여 행동 선택과 신뢰도 갱신을 이끌어내는 데 사용한다.
• 경로 샘플링을 통해 기대 자유 에너지를 추정함으로써 부분관측 환경에서도 효율적인 계획을 가능하게 한다.
• 변분 자유 에너지(minimizing variational free energy)를 최소화함으로써 탐색과 이용의 동적 균형을 유지하며, 이는 모델 증거와 예측 오차를 측정하는 데 사용된다.
• 가능한 상태와 행동에 대한 신뢰도 트리를 유지하며, 기대 자유 에너지와 불확실성 감소에 기반해 노드 값 갱신을 수행한다.
• 각 노드가 신뢰도 상태와 행동을 나타내는 트리 검색 구조를 사용하며, 자유 에너지 추정치를 후방 전파한다.
• 신경생리학적 시뮬레이션은 해마와 전두엽 피질에서 관찰된 신경 활동 패tern과 내부 신뢰도 상태 및 행동 정책을 매핑함으로써 생성된다.

실험 결과

연구 질문

• RQ1 몬테카를로 트리 검색를 통해 주도적 추론 원리가 대규모 POMDPs에 효과적으로 확장될 수 있는가?
• RQ2 바이너리 트리와 같은 복잡한 적응형 탐색 문제를 해결할 때 Active Tree Search는 샘플링 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ3 Active Tree Search는 의사결정 과정 중 해마와 전두엽 피질에서 관찰된 신경생리학적 반응을 시뮬레이션할 수 있는가?
• RQ4 주도적 추론을 몬테카를로 계획과 통합함으로써 히وري스틱 접근보다 더 원칙적인 탐색이 가능해지는가?
• RQ5 기존 방법들과 비교해 Active Tree Search는 Rocksample과 같은 벤치마크 POMDP 문제에서 얼마나 잘 성능을 내는가?

주요 결과

• 기존의 샘플링 기반 방법이 적응형 탐색이 필요한 데서 어려움을 겪는 바이너리 트리 문제를 Active Tree Search가 성공적으로 탐색한다.
• 자유 에너지 최소화를 통해 탐색과 이용의 균형을 효과적으로 유지함으로써 Rocksample POMDP 문제에서 뛰어난 성능을 달성한다.
• 시뮬레이션 결과, Active Tree Search는 계획 과제 중 해마와 전두엽 피질에서 관찰된 신경생리학적 반응 패턴을 재현함을 입증한다.
• 주도적 추론과 몬테카를로 계획의 통합은 대규모 POMDP에서 확장 가능하고 생물학적으로 타당한 계획을 가능하게 한다.
• Active Tree Search는 기존 몬테카를로 방법에서 흔히 볼 수 있는 히وري스틱 조정을 피하면서 탐색-이용 균형 문제에 원칙적인 해결책을 제공한다.
• 고차원적이고 부분관측 가능한 환경에서도 높은 계획 효율성과 정확도를 유지한다.