[论文解读] Modeling the effects of environmental and perceptual uncertainty using deterministic reinforcement learning dynamics with partial observability

Wolfram Barfuß, Richard P. Mann|PubMed|Sep 15, 2021

Embodied and Extended Cognition被引用 5

一句话总结

本文提出了一种针对部分可观测性智能体的确定性强化学习动力学，实现了对环境与感知不确定性的高效建模。研究发现，部分可观测性可加速学习、稳定收敛，甚至解决社会困境——为生物学、社会科学和机器学习中的多智能体系统提供了一种轻量化、可分析的工具。

ABSTRACT

Assessing the systemic effects of uncertainty that arises from agents' partial observation of the true states of the world is critical for understanding a wide range of scenarios, from navigation and foraging behavior to the provision of renewable resources and public infrastructures. Yet previous modeling work on agent learning and decision-making either lacks a systematic way to describe this source of uncertainty or puts the focus on obtaining optimal policies using complex models of the world that would impose an unrealistically high cognitive demand on real agents. In this work we aim to efficiently describe the emergent behavior of biologically plausible and parsimonious learning agents faced with partially observable worlds. Therefore we derive and present deterministic reinforcement learning dynamics where the agents observe the true state of the environment only partially. We showcase the broad applicability of our dynamics across different classes of partially observable agent-environment systems. We find that partial observability creates unintuitive benefits in several specific contexts, pointing the way to further research on a general understanding of such effects. For instance, partially observant agents can learn better outcomes faster, in a more stable way, and even overcome social dilemmas. Furthermore, our method allows the application of dynamical systems theory to partially observable multiagent leaning. In this regard we find the emergence of catastrophic limit cycles, a critical slowing down of the learning processes between reward regimes, and the separation of the learning dynamics into fast and slow directions, all caused by partial observability. Therefore, the presented dynamics have the potential to become a formal, yet practical, lightweight and robust tool for researchers in biology, social science, and machine learning to systematically investigate the effects of interacting partially observant agents.

研究动机与目标

• 开发一种系统化、计算高效的建模方法，用于分析环境与感知不确定性对智能体决策的影响。
• 解决现有描述性、轻量化模型的缺失问题，这些模型能够捕捉强化学习中部分可观测性的影响，尤其是在多智能体场景中。
• 使动力系统理论能够应用于部分可观测的多智能体学习，揭示诸如极限环和临界减速等涌现现象。
• 探索部分可观测性如何带来反直觉的优势，例如在社会困境中实现更快的学习和更优的集体结果。
• 为认知生态学、社会科学和机器学习领域的研究人员提供一种形式化但实用的框架，用于研究非真实或不完整的世界表征。

提出的方法

• 推导出显式考虑部分可观测性的确定性强化学习动力学，其中智能体无法直接观测真实环境状态。
• 将该框架应用于部分可观测马尔可夫决策过程（POMDPs）、Dec-POMDPs以及一般部分可观测随机博弈。
• 基于时序差分学习原理构建连续时间动力学，通过确定性的平均场近似处理状态不确定性。
• 运用动力系统理论工具分析学习轨迹，包括通过特征值分解识别快速与慢速特征方向。
• 提出一种形式化方法，将学习动力学分离为不同时间尺度，从而在相变前检测临界减速现象。
• 通过分析与数值方法，在包括觅食、社会困境和资源管理在内的多种环境中验证该方法的有效性。

实验结果

研究问题

• RQ1 部分可观测性如何影响多智能体系统中强化学习的速度、稳定性和收敛性？
• RQ2 部分可观测性是否能带来涌现优势，如更快学习或解决社会困境？在何种条件下？
• RQ3 由于部分可观测性，在学习过程中会引发哪些动力学现象，如极限环或临界减速？
• RQ4 部分可观测性如何改变关键超参数（如探索率与时间折扣）之间的关系？
• RQ5 非真实或不完整环境表征在何种方式下可导致更优的行为结果？

主要发现

• 在某些环境中，部分可观测智能体由于诱导的动力学简化，能够比完全可观测智能体更快、更稳定地学习到更优结果。
• 部分可观测性导致学习动力学中出现灾难性极限环与多重稳定性，表明存在复杂非线性行为。
• 在奖励模式转变之前观察到临界减速，预示着学习性能即将发生相变。
• 在部分可观测性下，学习动力学可分离为快速与慢速特征方向，其中慢速方向指示了更长的收敛时间。
• 具有部分可观测性的智能体需要更高的探索率，并降低对未来奖励的权重，其超参数之间比完全可观测智能体更相互依赖。
• 在社会困境中，相互部分可观测性可促进合作，但若仅部分智能体信息不全，则该优势会崩溃，导致奖励不均。