[论文解读] Active Exploration for Learning Symbolic Representations

Garrett Andersen, George Konidaris|PubMed|Sep 5, 2017

Artificial Intelligence in Games参考文献 21被引用 9

一句话总结

该论文提出了一种两阶段主动探索算法，通过结合快速贝叶斯符号模型推断与蒙特卡洛树搜索以聚焦不确定性，显著提升了在复杂环境中学习规划符号表示的数据效率。该方法在一款类似Asteroids的游戏和Treasure Game中，相较于随机或贪婪探索，实现了更优的符号转移覆盖。

ABSTRACT

We introduce an online active exploration algorithm for data-efficiently learning an abstract symbolic model of an environment. Our algorithm is divided into two parts: the first part quickly generates an intermediate Bayesian symbolic model from the data that the agent has collected so far, which the agent can then use along with the second part to guide its future exploration towards regions of the state space that the model is uncertain about. We show that our algorithm outperforms random and greedy exploration policies on two different computer game domains. The first domain is an Asteroids-inspired game with complex dynamics but basic logical structure. The second is the Treasure Game, with simpler dynamics but more complex logical structure.

研究动机与目标

• 为解决在连续、高维环境中从原始感官数据学习高层符号模型时面临的数据效率低下问题。
• 开发一种在线主动探索策略，利用先前收集的数据引导未来探索，聚焦于状态空间中不确定的区域。
• 使智能体能够自主学习选项效果的符号表示（如成功概率），而无需人工设计的抽象。
• 通过加速获取有助于符号模型学习的有信息量的数据，提升规划效率。
• 证明主动探索在数据效率和模型覆盖方面优于随机和贪婪探索。

提出的方法

• 该算法首先利用概率符号表示，从智能体收集的数据中构建一个中间贝叶斯符号模型，以紧凑方式编码连续状态的分布。
• 第二部分使用蒙特卡洛树搜索（MCTS）选择能最大化信息增益的动作，聚焦于当前符号模型表现出高不确定性的状态区域。
• 智能体通过选项执行收集数据，观察状态转移、奖励和终止条件，以迭代方式优化符号模型。
• 符号模型捕捉了关键环境因素，如位置、物体状态和符号条件（例如，'locked'、'has_key'），从而支持高层规划。
• 该方法在半马尔可夫决策过程（SMDP）框架内运行，建模选项的启动集、策略和终止条件。
• 探索由符号模型中的不确定性引导，MCTS在探索与利用之间取得平衡，以最大化信息增益。

实验结果

研究问题

• RQ1 基于符号模型中不确定性的主动探索，是否能实现更快速且更高效的数据学习抽象表示？
• RQ2 在具有复杂动力学或复杂逻辑的环境中，主动探索与随机和贪婪探索相比，在符号转移覆盖方面表现如何？
• RQ3 贝叶斯符号模型在多大程度上能从收集的数据中快速更新，以有效指导探索？
• RQ4 在何种环境类型中——复杂动力学或复杂逻辑——主动探索能带来最大的数据效率提升？
• RQ5 通过主动探索学习到的符号表示，是否能通过准确建模动作序列的成功概率，支持可靠的规划？

主要发现

• 在Asteroids领域，所提算法在观察全部115种可能的符号转移时，所需选项执行次数仅为随机或贪婪策略的2至3倍。
• 在Treasure Game中，该算法以远少于随机或贪婪策略的执行次数，观察到了全部240种符号转移，实现了更高效的全覆盖。
• 使用主动探索的智能体在200次选项执行后，100%的运行中成功获得宝藏，而随机和贪婪策略在许多试验中均未能获得。
• 与贪婪和随机策略相比，该算法将停留在无钥匙且锁仍处于锁定状态等低效状态的时间减少了50%以上。
• 热力图可视化结果证实，主动探索策略相比随机或贪婪探索，实现了更均匀且更具信息量的状态空间覆盖。
• 贝叶斯符号模型能从数据中快速更新，从而实现有效的基于不确定性的探索，并在两个领域中显著提升了数据效率。