[论文解读] Learning to Generalize from Sparse and Underspecified Rewards

Rishabh Agarwal, Liang Chen+2 more|arXiv (Cornell University)|Feb 19, 2019

Topic Modeling参考文献 70被引用 46

一句话总结

本文提出 Meta Reward Learning (MeRL) 与 MAPOX，以在学习未充分指定的稀疏奖励时提高泛化能力，并在弱监督语义解析和指令遵循任务上验证。

ABSTRACT

We consider the problem of learning from sparse and underspecified rewards, where an agent receives a complex input, such as a natural language instruction, and needs to generate a complex response, such as an action sequence, while only receiving binary success-failure feedback. Such success-failure rewards are often underspecified: they do not distinguish between purposeful and accidental success. Generalization from underspecified rewards hinges on discounting spurious trajectories that attain accidental success, while learning from sparse feedback requires effective exploration. We address exploration by using a mode covering direction of KL divergence to collect a diverse set of successful trajectories, followed by a mode seeking KL divergence to train a robust policy. We propose Meta Reward Learning (MeRL) to construct an auxiliary reward function that provides more refined feedback for learning. The parameters of the auxiliary reward function are optimized with respect to the validation performance of a trained policy. The MeRL approach outperforms our alternative reward learning technique based on Bayesian Optimization, and achieves the state-of-the-art on weakly-supervised semantic parsing. It improves previous work by 1.2% and 2.4% on WikiTableQuestions and WikiSQL datasets respectively.

研究动机与目标

• 处理语言条件任务中来自稀疏且未充分指定的成功/失败奖励的学习。
• 利用模式覆盖和模式寻求的 KL 方向，将探索与健壮策略优化解耦。
• 学习一个辅助奖励函数（MeRL），其参数通过验证性能进行优化。
• 将 MeRL 与基于贝叶斯优化的奖励学习（BoRL）以及基线方法进行比较。
• 在 WikiTableQuestions、WikiSQL 和一个指令遵循迷宫任务上展示改进的泛化性能。

提出的方法

• 使用模式覆盖探索（MAPOX）来收集多样化的成功轨迹。
• 训练一个包含在已发现轨迹上的模式寻求 KL 发散的健壮目标的策略。
• 定义一个基于轨迹特征加上未充分指定的奖励 R(a|x,y) 的参数化辅助奖励 R_phi。
• 通过对策略更新取导数以最大化验证性能，使用元学习（MeRL）来优化 phi。
• 另一种：使用贝叶斯优化（BoRL）来优化 phi，以最大化不可导的验证指标。
• 采用基于 MAPO 的估计器来处理内存缓冲区和稀疏奖励的梯度估计。

实验结果

研究问题

• RQ1 在奖励未充分指定时，辅助奖励学习如何提升泛化能力？
• RQ2 将模式覆盖探索策略与健壮的策略优化结合，是否在弱监督任务中优于模式寻求方法？
• RQ3 基于梯度的（MeRL）和无梯度的（BoRL）奖励学习方法是否能在稀疏奖励设置下提升验证性能？
• RQ4 在语义解析基准上的学习型辅助奖励对泛化的影响？
• RQ5 探索密集的方法在指令遵循和语义解析任务中能接近 Oracle（完全监督）性能到何种程度？

主要发现

• MeRL 与 BoRL 在泛化方面优于基线的未充分指定奖励。
• MAPOX 探索比单独的 MAPO 发现更多样化的成功轨迹。
• MeRL 在指令遵循任务上显著缩小了与 Oracle 奖励的差距（开发集 83.0 对 95.7；测试集 74.5 对 92.6）。
• 通过 MeRL/BoRL 学习的辅助奖励比仅使用未充分指定的奖励在验证驱动的性能上表现更高。
• 结合 MeRL 的 MAPOX 在弱监督语义解析基准（WikiTableQuestions、WikiSQL）上达到最先进的结果。