[论文解读] Complexity distribution of agent policies

José Hernández‐Orallo|arXiv (Cornell University)|Feb 8, 2013

Cellular Automata and Applications参考文献 34被引用 4

一句话总结

本文通过使用算法信息论分析智能体策略复杂度的分布，提出一个框架以评估强化学习中环境的难度和区分能力。通过估计策略的柯尔莫哥洛夫复杂度并推导出环境响应曲线，该研究揭示了在基本元胞自动机环境中任务难度与区分能力的变化规律，提供了一种基于信息论、与表征无关的稳健任务复杂度度量方法。

ABSTRACT

We analyse the complexity of environments according to the policies that need to be used to achieve high performance. The performance results for a population of policies leads to a distribution that is examined in terms of policy complexity and analysed through several diagrams and indicators. The notion of environment response curve is also introduced, by inverting the performance results into an ability scale. We apply all these concepts, diagrams and indicators to a minimalistic environment class, agent-populated elementary cellular automata, showing how the difficulty, discriminating power and ranges (previous to normalisation) may vary for several environments.

研究动机与目标

• 开发一种在强化学习设置中与表征无关的环境难度度量方法。
• 通过分析智能体群体中策略性能的方差，量化任务的区分能力。
• 提出环境响应曲线作为类似心理测量学的工具，基于聚合的策略性能评估任务难度。
• 应用算法信息论（通过柯尔莫哥洛夫复杂度估计）评估策略复杂度，减少对特定策略表征的依赖。
• 在最小化、智能体填充的基本元胞自动机环境中应用该框架，作为概念验证。

提出的方法

• 使用编码定理法估计智能体策略的柯尔莫哥洛夫复杂度，实现对策略信息内容的稳健、语言无关的度量。
• 通过生成智能体群体与给定环境交互的策略性能分布，评估环境的难度与区分能力。
• 通过将性能数据反演为能力量表，构建环境响应曲线，类比心理测量学中的项目反应理论（IRT）。
• 将该框架应用于智能体填充的基本元胞自动机环境，采用固定策略生成与评估协议的受控实验设置。
• 使用图形分析和统计指标（如均值、方差、偏度）表征策略复杂度与性能分布的特征。
• 采用经验近似技术处理柯尔莫哥洛夫复杂度的不可计算性，最小化对参考机器常数的依赖。

实验结果

研究问题

• RQ1 如何实现一种与策略表征语言无关的环境难度度量方法？
• RQ2 策略复杂度分布在多大程度上反映了环境的内在难度与区分能力？
• RQ3 能否基于策略性能推导出的环境响应曲线，作为强化学习中任务难度的可靠代理指标？
• RQ4 环境结构的变化（如在基本元胞自动机中）如何影响策略复杂度与性能的分布？
• RQ5 策略的算法复杂度与其在交互环境中获得高奖励的能力之间存在何种关系？

主要发现

• 在环境间，策略复杂度的分布揭示了显著的难度与区分能力差异，即使在基本元胞自动机等极简环境中亦然。
• 基于性能数据推导出的环境响应曲线表明，某些环境比其他环境更能有效区分高绩效与低绩效智能体，表明其具有更高的区分能力。
• 该框架通过分析策略性能与复杂度分布的分布范围与形状，成功识别出高难度且具有强区分能力的环境。
• 利用算法信息论进行复杂度估计可减少策略表征带来的偏差，增强鲁棒性，尤其在比较以不同方式表达的等效策略时更为显著。
• 该方法支持环境难度特征的预计算与存储，实现跨多个应用的复用——类似于心理测量学测试库的运作方式。
• 实证结果表明，该方法在小型至中型环境中计算上是可行的，且可通过可扩展的复杂度估计技术推广至更复杂的系统。