[논문 리뷰] Deep active inference agents using Monte-Carlo methods

Zafeirios Fountas, Noor Sajid외 2명|arXiv (Cornell University)|2020. 06. 07.

Reinforcement Learning in Robotics참고 문헌 67인용 수 26

한 줄 요약

이 논문은 복잡한 연속 상태공간에서 계획과 효율적 학습을 가능하게 하기 위해 몬테카를로(MC) 방법을 사용하는 딥 액티브 인퍼런스 에이전트를 제안한다. 정책 선택을 위한 몬테카를로 트리 탐색, 정책 근사화를 위한 습관적 네트워크, 믿음 갱신을 위한 MC 드롭아웃, 그리고 학습 가능한 정밀도 조절을 통합함으로써, 에이전트는 분리된 표현과 보상 중심의 탐색을 달성한다. 이는 성능 면에서 보상 기반 에이전트와 동등하거나 이를 초월하면서도 생물학적으로 타당한 방식을 유지한다.

ABSTRACT

Active inference is a Bayesian framework for understanding biological intelligence. The underlying theory brings together perception and action under one single imperative: minimizing free energy. However, despite its theoretical utility in explaining intelligence, computational implementations have been restricted to low-dimensional and idealized situations. In this paper, we present a neural architecture for building deep active inference agents operating in complex, continuous state-spaces using multiple forms of Monte-Carlo (MC) sampling. For this, we introduce a number of techniques, novel to active inference. These include: i) selecting free-energy-optimal policies via MC tree search, ii) approximating this optimal policy distribution via a feed-forward `habitual' network, iii) predicting future parameter belief updates using MC dropouts and, finally, iv) optimizing state transition precision (a high-end form of attention). Our approach enables agents to learn environmental dynamics efficiently, while maintaining task performance, in relation to reward-based counterparts. We illustrate this in a new toy environment, based on the dSprites data-set, and demonstrate that active inference agents automatically create disentangled representations that are apt for modeling state transitions. In a more complex Animal-AI environment, our agents (using the same neural architecture) are able to simulate future state transitions and actions (i.e., plan), to evince reward-directed navigation - despite temporary suspension of visual input. These results show that deep active inference - equipped with MC methods - provides a flexible framework to develop biologically-inspired intelligent agents, with applications in both machine learning and cognitive science.

연구 동기 및 목표

• 이전의 구현이 저차원 이산 작업에 국한되어 있었던 바, 액티브 인퍼런스를 고차원 연속 상태공간으로 확장한다.
• 자유에너지 최적화 정책 선택을 위한 몬테카를로 트리 탐색(MCTS)을 사용하여 액티브 인퍼런스 에이전트에서 효과적인 계획을 가능하게 한다.
• 생물학적 습관 형성에 영감을 얻은 피드포워드 '습관적' 네트워크를 통해 최적 정책를 근사화하여 계산 부담을 감소시킨다.
• 에이다프티드 네트워크를 사용하여 모델 파라미터에 대한 믿음 갱신을 향상시키며, 앙상블 네트워크 없이도 효율적인 불확실성 추정을 가능하게 한다.
• 상위에서 내려오는 주의 메커니즘으로서의 기능을 하는 학습 가능한 상태 전이 정밀도를 도입함으로써 표현 학습과 분리도를 향상시킨다.

제안 방법

• 미래 경로를 샘플링하고 기대 자유에너지(EGE)를 추정하여 자유에너지 최적 정책을 선택하기 위해 몬테카를로 트리 탐색(MCTS)을 사용한다.
• 반복적인 계획이 필요한 익숙한 상태에서 최적 정책 분포를 근사하기 위해 피드포워드 신경망을 '습관적' 정책으로 사용한다.
• 모델 파라미터에 대한 미래 믿음 갱신을 예측하기 위해 MC 드롭아웃을 적용함으로써, 앙상블 없이도 불확실성 인식 가능한 추론을 가능하게 한다.
• 상태 전이의 불확실성을 조절하는 학습 가능한 정밀도 파라미터(ωt)를 도입하여 생물학적 시스템의 주의 메커니즘과 유사한 기능을 수행한다.
• 단일 딥 네트워크 아키텍처를 사용하여 전체 에이전트를 액티브 인퍼런스 프레임워크 내에 통합하며, 행동은 변분 자유에너지 최소화 원리에 기반한다.
• 변분 추론을 사용하여 에이전트를 엔드 투 엔드로 훈련시키며, 손실 함수는 변분 자유에너지 경계(ELBO)로, 인식과 행동이 동시에 최적화됨을 보장한다.

실험 결과

연구 질문

• RQ1 몬테카를로 방법은 고차원 연속 상태공간에서 작동하는 딥 액티브 인퍼런스 에이전트에서 효과적인 계획을 가능하게 하는가?
• RQ2 MCTS와 습관적 네트워크의 통합은 액티브 인퍼런스에서 샘플 효율성 향상과 계산 비용 감소에 어떤 영향을 미치는가?
• RQ3 MC 드롭아웃은 액티브 인퍼런스에서 앙상블 방법을 얼마나 효과적으로 대체할 수 있는가?
• RQ4 학습 가능한 정밀도가 상태 전이에 적용되었을 때 표현의 분리도 향상과 복잡한 환경에서의 학습 향상에 어떤 기여를 하는가?
• RQ5 단일 딥 네트워크 아키텍처가 액티브 인퍼런스 프레임워크 내에서 인식, 계획, 정책 학습을 모두 지원하면서도 생물학적 타당성을 유지할 수 있는가?

주요 결과

• DAIMC 에이전트는 dSprites 기반 환경에서 효과적인 상태 전이 모델링을 위한 분리된 표현을 성공적으로 학습하였다.
• Animal-AI 환경에서, 일시적인 시각 입력 정지 상황에서도 보상 중심의 탐색과 미래 상태 전이 시뮬레이션을 수행함으로써 강력한 내부 계획 능력을 보였다.
• 복잡한 작업에서 보상 기반 에이전트와 동등하거나 이를 초월하는 성능을 보였으며, 몬테카를로 방법을 사용한 액티브 인퍼런스가 표준 강화학습의 타당한 대안임을 시사한다.
• 믿음 갱신에 MC 드롭아웃을 사용한 결과, 앙상블 방법과 유사한 성능을 달성하면서도 계산 비용이 낮아 효율성이 뛰어나다는 점을 입증하였다.
• 학습 가능한 정밀도(ωt)는 잠재 특성 간의 통계적 독립성을 증진시켜 분리도를 향상시켰으며, 생물학적 시스템의 주의 메커니즘과 일치하는 결과를 보였다.
• MCTS를 사용한 계획 능력과 부분 관찰 조건에서도 성능를 유지하는 능력은 동적 환경에서의 강건성과 적응성을 입증한다.