[论文解读] Memory Augmented Policy Optimization for Program Synthesis with Generalization

Liang Chen, Mohammad Norouzi+3 more|arXiv (Cornell University)|Jul 6, 2018

Reinforcement Learning in Robotics参考文献 41被引用 16

一句话总结

本文提出记忆增强策略优化（MAPO），一种利用高奖励轨迹记忆缓冲区来降低方差并提升确定性环境中离散动作的样本效率的策略梯度方法。MAPO在程序合成基准测试中达到最先进性能——在WikiTableQuestions上准确率达到46.2%，在WikiSQL上达到74.9%，仅使用弱监督即超越了完全监督的基线模型。

ABSTRACT

This paper presents Memory Augmented Policy Optimization (MAPO): a novel policy optimization formulation that incorporates a memory buffer of promising trajectories to reduce the variance of policy gradient estimates for deterministic environments with discrete actions. The formulation expresses the expected return objective as a weighted sum of two terms: an expectation over a memory of trajectories with high rewards, and a separate expectation over the trajectories outside the memory. We propose 3 techniques to make an efficient training algorithm for MAPO: (1) distributed sampling from inside and outside memory with an actor-learner architecture; (2) a marginal likelihood constraint over the memory to accelerate training; (3) systematic exploration to discover high reward trajectories. MAPO improves the sample efficiency and robustness of policy gradient, especially on tasks with a sparse reward. We evaluate MAPO on weakly supervised program synthesis from natural language with an emphasis on generalization. On the WikiTableQuestions benchmark we improve the state-of-the-art by 2.5%, achieving an accuracy of 46.2%, and on the WikiSQL benchmark, MAPO achieves an accuracy of 74.9% with only weak supervision, outperforming several strong baselines with full supervision. Our code is open sourced at this https URL

研究动机与目标

• 解决在稀疏奖励环境下，程序合成任务中策略梯度方法存在的样本效率低下与方差过高的挑战。
• 通过利用高奖励轨迹的记忆，提升弱监督程序合成中的泛化能力。
• 开发一种训练算法，以在具有离散动作的确定性环境中高效探索并利用有前景的轨迹。
• 仅使用弱监督即在程序合成基准测试中实现优越性能，减少对昂贵全监督的依赖。
• 通过基于记忆的方差减少与系统性探索，提升策略优化的鲁棒性与收敛速度。

提出的方法

• 将期望回报表述为记忆缓冲区内外轨迹期望值的加权和，其中记忆缓冲区存储高奖励轨迹。
• 采用演员-学习者架构实现分布式采样，以高效地从记忆缓冲区内外采样轨迹。
• 对记忆施加边际似然约束，通过保留高质量轨迹分布来稳定并加速训练。
• 集成系统性探索策略，主动发现尚未存在于记忆中的高奖励轨迹。
• 采用增强记忆的策略梯度框架，通过记忆增强目标降低方差并提升学习稳定性。
• 维护一个动态记忆缓冲区，根据轨迹回报进行更新，优先保留高性能序列。

实验结果

研究问题

• RQ1 记忆增强策略优化能否在稀疏奖励的程序合成中降低方差并提升样本效率？
• RQ2 在弱监督程序合成中，引入高奖励轨迹记忆对泛化能力有何影响？
• RQ3 当仅使用弱监督训练程序合成任务时，MAPO在多大程度上能超越完全监督的基线模型？
• RQ4 系统性探索在稀疏奖励环境中对发现高奖励轨迹有何影响？
• RQ5 对记忆缓冲区施加的边际似然约束如何影响训练收敛性与稳定性？

主要发现

• 在WikiTableQuestions基准测试中，MAPO实现了46.2%的最先进准确率，较之前最先进方法提升2.5%。
• 在WikiSQL基准测试中，MAPO仅使用弱监督即达到74.9%的准确率，超越了多个依赖全监督的强基线模型。
• 记忆增强目标显著降低了策略梯度的方差，使稀疏奖励环境下的训练更加稳定高效。
• 系统性探索使智能体能更有效地发现高奖励轨迹，尤其在训练初期阶段表现突出。
• 对记忆缓冲区施加的边际似然约束加速了收敛并提升了样本效率，且未损害性能。
• MAPO展现出强大的泛化能力，在程序合成任务中能有效泛化到未见的测试实例。