[논문 리뷰] Modeling the effects of environmental and perceptual uncertainty using deterministic reinforcement learning dynamics with partial observability

Wolfram Barfuß, Richard P. Mann|PubMed|2021. 09. 15.

Embodied and Extended Cognition인용 수 5

한 줄 요약

이 논문은 부분 관찰 가능한 에이전트를 위한 결정론적 강화학습 동역학을 도입하여 환경적 및 인지적 불확실성을 효율적으로 모델링한다. 부분 관찰 가능성이 학습 속도를 가속화하고 수렴을 안정화하며 심지어 사회적 딜레마를 해결하는 데 기여할 수 있음을 밝혀내며, 생물학, 사회과학 및 기계학습 분야의 다중에이전트 시스템에 적용 가능한 경량이며 분석 가능한 도구를 제공한다.

ABSTRACT

Assessing the systemic effects of uncertainty that arises from agents' partial observation of the true states of the world is critical for understanding a wide range of scenarios, from navigation and foraging behavior to the provision of renewable resources and public infrastructures. Yet previous modeling work on agent learning and decision-making either lacks a systematic way to describe this source of uncertainty or puts the focus on obtaining optimal policies using complex models of the world that would impose an unrealistically high cognitive demand on real agents. In this work we aim to efficiently describe the emergent behavior of biologically plausible and parsimonious learning agents faced with partially observable worlds. Therefore we derive and present deterministic reinforcement learning dynamics where the agents observe the true state of the environment only partially. We showcase the broad applicability of our dynamics across different classes of partially observable agent-environment systems. We find that partial observability creates unintuitive benefits in several specific contexts, pointing the way to further research on a general understanding of such effects. For instance, partially observant agents can learn better outcomes faster, in a more stable way, and even overcome social dilemmas. Furthermore, our method allows the application of dynamical systems theory to partially observable multiagent leaning. In this regard we find the emergence of catastrophic limit cycles, a critical slowing down of the learning processes between reward regimes, and the separation of the learning dynamics into fast and slow directions, all caused by partial observability. Therefore, the presented dynamics have the potential to become a formal, yet practical, lightweight and robust tool for researchers in biology, social science, and machine learning to systematically investigate the effects of interacting partially observant agents.

연구 동기 및 목표

• 환경적 및 인지적 불확실성의 영향을 모델링하기 위한 체계적이고 계산적으로 효율적인 방법을 개발하기 위해.
• 특히 다중에이전트 환경에서 부분 관찰 가능성이 미치는 영향을 기술적으로 기록하고 경량화한 모델의 부족을 보완하기 위해.
• 부분 관찰 가능한 다중에이전트 학습에 동역학 시스템 이론을 적용할 수 있도록 하여, 한계 주기나 임계 느슨함과 같은 부상 현상을 드러내기 위해.
• 부분 관찰 가능성이 놀라운 이점—예를 들어 더 빠른 학습이나 사회적 딜레마 해결—으로 이어질 수 있는지 탐색하기 위해.
• 인지생태학, 사회과학 및 기계학습 분야의 연구자들이 비정확하거나 불완전한 세계 모델을 연구할 수 있도록 형식적이면서도 실용적인 프레임워크를 제공하기 위해.

제안 방법

• 에이전트가 진정한 환경 상태를 직접 관찰하지 못하는 상황에서 부분 관찰 가능성을 명시적으로 고려한 결정론적 강화학습 동역학을 유도한다.
• 부분 관찰 가능한 마르코프 결정 과정(POMDPs), Dec-POMDPs, 일반적인 부분 관찰 가능한 스토케스틱 게임에 이 프레임워크를 적용한다.
• 시간에 따라 변화하는 연속적인 동역학을 사용하며, 시간 차이 학습 원리를 기반으로 하되, 평균장 근사법을 통해 상태 불확실성을 다룰 수 있도록 조정한다.
• 동역학 시스템 이론의 도구를 사용하여 학습 경로를 분석하며, 고유값 분해를 통해 빠른 및 느린 고유방향을 식별한다.
• 학습 동역학을 별개의 시간스케일로 분리하는 형식을 도입하여, 단계 전환 이전의 임계 느슨함을 탐지할 수 있도록 한다.
• 분석적 및 수치적 방법을 사용하여, 자원 확보, 사회적 딜레마, 자원 관리 등 다양한 환경에서 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 부분 관찰 가능성이 다중에이전트 시스템에서 강화학습의 속도, 안정성 및 수렴에 어떤 영향을 미치는가?
• RQ2 부분 관찰 가능성이 빠른 학습이나 사회적 딜레마 해결과 같은 부상적 이점을 가져올 수 있으며, 이러한 조건은 무엇인가?
• RQ3 부분 관찰 가능성이 학습 과정에서 한계 주기나 임계 느슨함 같은 동역학적 현상을 유도하는 방식은 무엇인가?
• RQ4 부분 관찰 가능성이 탐색률과 시간 할인율과 같은 핵심 초모수 간의 관계에 어떤 영향을 미치는가?
• RQ5 환경에 대한 비정확하거나 불완전한 표현 방식이 어떻게 행동적 결과를 향상시킬 수 있는가?

주요 결과

• 일부 환경에서는 부분 관찰 가능한 에이전트가 완전히 관찰 가능한 에이전트보다 더 나은 성과를 더 빠르고 안정적으로 달성할 수 있으며, 이는 유도된 동역학적 단순화 때문이 다.
• 부분 관찰 가능성이 학습 동역학에서 치명적인 한계 주기와 다중 안정성을 유도하며, 복잡한 비선형 행동을 나타낸다.
• 보상 체계 전환 전에 임계 느슨함이 관찰되며, 이는 학습 성능의 임박한 단계 전환을 경고한다.
• 부분 관찰 가능성이 있는 상황에서 학습 동역학은 빠른 고유방향과 느린 고유방향으로 분리되며, 느린 방향이 수렴 시간이 길어지는 것을 나타낸다.
• 부분 관찰 가능한 에이전트는 완전히 관찰 가능한 에이전트보다 더 높은 탐색률과 향후 보상을 낮게 평가해야 하며, 초모수 간의 상호의존성이 더 크다.
• 사회적 딜레마 상황에서 상호 부분 관찰 가능성이 협력을 촉진할 수 있지만, 만약 일부 에이전트만 정보 부족 상태라면 이 이점은 붕괴되며, 이로 인해 보상 불균형이 발생한다.