[논문 리뷰] Learning in embodied action-perception loops through exploration

Daniel Y. Little, Friedrich T. Sommer|arXiv (Cornell University)|2011. 12. 06.

Neural dynamics and brain function참고 문헌 39인용 수 11

한 줄 요약

이 논문은 베이지안 추론을 사용하여 부족한 정보를 정량화함으로써 학습 기반 탐색을 위한 계산 이론을 제안한다. 이는 효율적인 행동-지각 루프 조율을 가능하게 하며, 불확실성을 줄이는 데 중점을 둔 행동을 우선시함으로써, 이전 방법들과 비교해 더 빠른 세계 학습과 탐색 및 보상 수집 작업 성능 향상을 달성한다.

ABSTRACT

Although exploratory behaviors are ubiquitous in the animal kingdom, their computational underpinnings are still largely unknown. Behavioral Psychology has identified learning as a primary drive underlying many exploratory behaviors. Exploration is seen as a means for an animal to gather sensory data useful for reducing its ignorance about the environment. While related problems have been addressed in Data Mining and Reinforcement Learning, the computational modeling of learning-driven exploration by embodied agents is largely unrepresented. Here, we propose a computational theory for learning-driven exploration based on the concept of missing information that allows an agent to identify informative actions using Bayesian inference. We demonstrate that when embodiment constraints are high, agents must actively coordinate their actions to learn efficiently. Compared to earlier approaches, our exploration policy yields more efficient learning across a range of worlds with diverse structures. The improved learning in turn affords greater success in general tasks including navigation and reward gathering. We conclude by discussing how the proposed theory relates to previous information-theoretic objectives of behavior, such as predictive information and the free energy principle, and how it might contribute to a general theory of exploratory behavior.

연구 동기 및 목표

• 행동 심리학에서 학습을 탐색의 주요 동기로 보는 시각과 보상 최적화에 초점을 맞춘 계산 모델 간 격차를 메우기 위해.
• embodiment된 에이전트가 닫힌 행동-지각 루프 내에서 조율된 행동을 통해 세계의 구조를 능동적으로 학습할 수 있는 공식적 프레임워크를 개발하기 위해.
• 예측된 정보 획득을 통한 정보 최대화가 학습 시간을 단축시키고 다양한 환경에서 성능을 향상시킨다는 것을 입증하기 위해.
• 제안된 학습 기반 탐색이 예측 정보와 자유 에너지와 같은 기존의 정보 이론 원리와 어떻게 관련되어 있는지 밝혀내어 탐색 행동의 통합 이론을 제안하기 위해.

제안 방법

• 에이전트는 행동이 상태 전이에 영향을 주는 제어 가능한 마르코프 체인(CMC) 세계에서 작동하며, 베이지안 추론을 통해 전이 동역학을 학습한다.
• 탐색 정책은 예상되는 부족한 정보의 감소(즉, 예측된 정보 획득)에 의해 구동되며, 이는 행동이 예상하는 불확실성을 얼마나 줄일 수 있는지 정량화한다.
• 행동는 예상 정보 획득(PIG)을 최대화하도록 선택되며, 이는 내부 모델의 세계 동역학에 대한 믿음의 엔트로피 감소의 기대값으로 계산된다.
• 에이전트가 행동이 감각 입력에 어떻게 영향을 주는지 학습함으로써 감각운동 조건을 통합하여 능동적인 데이터 확보를 가능하게 한다.
• 다양한 복잡도를 가진 여러 세계 구조에서 랜덤 및 보상 기반 정책과 같은 기준 탐색 전략과의 비교를 통해 접근법을 평가한다.
• 심리학적 차이점인 조사와 놀이를 반영하기 위해 학습 기반 및 자극 기반 탐색을 조합한 하이브리드 전략을 제안한다.

실험 결과

연구 질문

• RQ1 학습을 주요 동기로 삼는 탐색의 계산 모델은 어떻게 보다 높은 수준의 보상 최적화가 아닌가?
• RQ2 신체화 제약 조건은 행동-지각 루프 내에서 효율적인 학습을 달성하기 위해 어떻게 조율된 행동이 필수적인가?
• RQ3 예측 정보 획득(PIG)을 최대화하는 것이 다른 탐색 전략에 비해 학습 속도와 작업 성공률 측면에서 어떻게 비교되는가?
• RQ4 제안된 이론은 예측 정보와 자유 에너지와 같은 기존의 정보 이론 원리와 어떻게 관련되어 있는가?
• RQ5 조사와 놀이와 같은 다양한 탐색 방식을 하나의 계산 모델 안에서 통합할 수 있는 통합 프레임워크는 가능한가?

주요 결과

• 예측된 정보 획득(PIG) 기반의 제안된 학습 기반 탐색 정책은 다양한 환경에서 기존의 무작위 및 보상 기반 탐색보다 기존 세계 구조 학습에서 뚜렷한 성능 향상을 보였다.
• 고도로 신체화된 제약 조건이 존재하는 상황에서는, 부족한 정보에 기반한 조율된 행동 선택 전략이 비조율 전략보다 세계 동역학 학습에서 더 빠른 수렴을 이뤘다.
• 향상된 세계 학습은 탐색 및 보상 수확과 같은 일반적인 작업 성공률 향상으로 이어져 효율적 탐색의 후행 이점을 입증했다.
• 모델의 탐색 전략은 불확실성을 줄이기 위해 행동을 선택하는 심리학적 이론인 호기심 기반 조사 이론과 일치한다.
• 이 프레임워크는 엔트로피, 정보 획득 등의 정보 이론 개념과 탐색 행동 사이에 원칙적인 연결 고리를 제공하여 자율적 학습의 통합 이론을 뒷받침한다.
• 학습 기반 및 자극 기반 탐색 방식을 조합한 하이브리드 탐색 전략은 발달 심리학에서 관찰된 조사와 놀이 간 전이 현상을 잘 반영하고 있다.