[论文解读] Hierarchical State Abstraction Based on Structural Information Principles

Xianghua Zeng, Hao Peng+4 more|arXiv (Cornell University)|Apr 24, 2023

Neural dynamics and brain functionNeuroscience被引用 3

一句话总结

本文提出SISA，一种基于结构信息原理的新型分层状态抽象框架，旨在提升高维观测强化学习中的样本效率与性能。通过利用无监督分层聚类、基于结构熵加权的可学习聚合函数，以及用于减轻信息损失的条件结构熵，SISA在具有挑战性的连续控制基准测试中，相较于最先进（SOTA）基线方法，实现了最高18.98%的平均回合奖励提升和44.44%的样本效率改进。

ABSTRACT

State abstraction optimizes decision-making by ignoring irrelevant environmental information in reinforcement learning with rich observations. Nevertheless, recent approaches focus on adequate representational capacities resulting in essential information loss, affecting their performances on challenging tasks. In this article, we propose a novel mathematical Structural Information principles-based State Abstraction framework, namely SISA, from the information-theoretic perspective. Specifically, an unsupervised, adaptive hierarchical state clustering method without requiring manual assistance is presented, and meanwhile, an optimal encoding tree is generated. On each non-root tree node, a new aggregation function and condition structural entropy are designed to achieve hierarchical state abstraction and compensate for sampling-induced essential information loss in state abstraction. Empirical evaluations on a visual gridworld domain and six continuous control benchmarks demonstrate that, compared with five SOTA state abstraction approaches, SISA significantly improves mean episode reward and sample efficiency up to 18.98 and 44.44%, respectively. Besides, we experimentally show that SISA is a general framework that can be flexibly integrated with different representation-learning objectives to improve their performances further.

研究动机与目标

• 为解决强化学习中高维、噪声观测下状态抽象所面临的无关信息与关键信息之间的平衡这一关键挑战。
• 通过开发一种无监督、自适应的分层聚类方法，消除对人工超参数调优的依赖。
• 通过一种新颖的条件结构熵机制，减轻采样过程中导致的信息损失，特别是在马尔可夫抽象中。
• 设计一种可泛化的框架，可灵活集成现有表示学习目标以进一步提升性能。
• 在不牺牲任务动态或奖励结构的前提下，实现在复杂决策任务中的卓越样本效率与最终性能。

提出的方法

• 提出一种无监督、自适应的分层状态聚类方法，利用结构化、稀疏化和优化模块，构建无需人工干预的最优编码树。
• 在每个非根树节点定义一种新颖的聚合函数，使用分配的结构熵作为权重，实现从叶节点到根节点的分层抽象。
• 引入条件结构熵以重建状态关系，并补偿采样与压缩过程中丢失的关键信息。
• 采用基于自编码器的结构与表示学习目标，以优化状态嵌入并支持分层聚类。
• 该框架设计为通用结构，可与现有抽象方法（如马尔可夫抽象和SAC-AE）集成，以增强性能。
• 最优编码树通过端到端方式学习，实现自动抽象，逐步忽略无关细节，同时保留任务关键动态。

实验结果

研究问题

• RQ1 能否开发一种既无监督又自适应的分层状态抽象框架，从而消除对人工超参数调优的需求？
• RQ2 如何利用结构信息原理最小化强化学习中状态抽象过程的信息损失？
• RQ3 条件结构熵在多大程度上能够重建丢失的状态关系，并提升采样环境中抽象的保真度？
• RQ4 所提出的框架能否实现泛化并集成到现有表示学习目标中，以进一步提升性能？
• RQ5 在最优编码树上进行的分层抽象过程，是否能在复杂控制任务中显著提升样本效率与最终性能？

主要发现

• SISA在六个DMControl环境中相较于最佳SOTA基线，实现了最高18.98%的平均回合奖励提升。
• SISA将样本效率提升了最高44.44%，在ball_in_cup-catch任务中，达到目标性能所需的环境步数从45k减少至25k。
• 消融实验确认，微调阶段与抽象阶段均不可或缺，SISA在最终性能、样本效率和训练稳定性方面均优于缺少任一阶段的变体。
• 将SISA与马尔可夫抽象（Markov-SISA）及SAC-AE（SAC-SISA）结合后，在ball_in_cup-catch和cartpole-swingup任务中，均实现了比原始方法更高的最终性能与样本效率。
• 在最优编码树上进行的分层抽象过程能有效保留关键动态与奖励，使模型在具有丰富观测的复杂任务中表现更优。
• SISA展现出强大的泛化能力，在视觉网格世界与DMControl基准测试的在线与离线设置中均取得了最先进结果。