[论文解读] Learning Probabilistic Relational Dynamics for Multiple Tasks

Ashwin Deshpande, Brian Milch+2 more|arXiv (Cornell University)|Jun 20, 2012

AI-based Problem Solving and Planning参考文献 11被引用 11

一句话总结

本文提出了一种分层贝叶斯框架，用于在多个相关任务中学习概率性关系动力学，通过为每个任务随机修改一组原型规则。通过在规则集上共享一个共同的先验分布，该方法显著减少了在积木世界环境中学习动作效应所需的数据量，展示了在关系规划领域中的有效迁移学习。

ABSTRACT

The ways in which an agent's actions affect the world can often be modeled compactly using a set of relational probabilistic planning rules. This paper addresses the problem of learning such rule sets for multiple related tasks. We take a hierarchical Bayesian approach, in which the system learns a prior distribution over rule sets. We present a class of prior distributions parameterized by a rule set prototype that is stochastically modified to produce a task-specific rule set. We also describe a coordinate ascent algorithm that iteratively optimizes the task-specific rule sets and the prior distribution. Experiments using this algorithm show that transferring information from related tasks significantly reduces the amount of training data required to predict action effects in blocks-world domains.

研究动机与目标

• 解决在训练数据有限的情况下学习关系领域中动作-效应动态的挑战。
• 通过在规则集上共享一个共同先验，实现在多个相关任务之间的知识迁移。
• 开发一种可扩展的概率框架，以建模特定任务的动力学，同时保持任务间的结构一致性。
• 通过共享先验知识，降低在积木世界规划任务中学习动作效应的样本复杂度。

提出的方法

• 使用分层贝叶斯模型，其中原型规则集通过随机扰动生成特定任务的规则集。
• 从多个相关任务中学习规则集上的先验分布，从而实现知识迁移。
• 使用坐标上升算法联合优化特定任务的规则集和共享先验分布。
• 通过概率逻辑规则建模关系动力学，捕捉对象与动作之间的依赖关系。
• 对规则集进行参数化，使得对原型的小幅修改可产生多样化但结构一致的特定任务规则。
• 该框架支持增量学习，并在具有共享底层动力学的任务间实现泛化。

实验结果

研究问题

• RQ1 在多个相关规划任务中，规则集上的共享先验如何提升学习效率？
• RQ2 对原型规则集进行随机修改在多大程度上能够捕捉多样化但一致的特定任务动力学？
• RQ3 分层贝叶斯建模能否减少在关系领域中学习动作效应所需的训练数据量？
• RQ4 与非迁移学习基线相比，所提出方法在数据效率和准确性方面表现如何？
• RQ5 先验结构对未见任务上的泛化性能有何影响？

主要发现

• 通过在任务间共享知识，所提出方法显著减少了在积木世界领域中学习动作效应所需的训练数据量。
• 通过分层贝叶斯先验实现的迁移学习，相比特定任务学习，实现了更快的收敛速度和更高的样本效率。
• 对原型规则集的随机修改能够有效实现泛化，同时保持任务间的结构一致性。
• 实验表明，坐标上升算法成功优化了特定任务规则和共享先验，从而提高了预测准确性。
• 即使每个任务的数据量有限，该框架也表现出稳健性能，凸显其在低数据关系规划场景中的适用性。