[论文解读] Lifelong Perceptual Programming By Example

Alexander L. Gaunt, Marc Brockschmidt+2 more|arXiv (Cornell University)|Nov 7, 2016

Neural Networks and Applications被引用 2

一句话总结

本文提出终身感知编程演示（Lifelong Perceptual Programming By Example, LPPBE），一种从涉及图像和文本等感知数据的输入-输出示例中学习程序的系统。通过将可微分解释器扩展以在任务间共享组件，LPPBE 实现了持续的知识迁移，随着时间推移，提升了新任务和先前学习任务的性能。

ABSTRACT

We introduce and develop solutions for the problem of Lifelong Perceptual Programming By Example (LPPBE). The problem is to induce a series of programs that require understanding perceptual data like images or text. LPPBE systems learn from weak supervision (input-output examples) and incrementally construct a shared library of components that grows and improves as more tasks are solved. Methodologically, we extend differentiable interpreters to operate on perceptual data and to share components across tasks. Empirically we show that this leads to a lifelong learning system that transfers knowledge to new tasks more effectively than baselines, and the performance on earlier tasks continues to improve even as the system learns on new, different tasks.

研究动机与目标

• 解决使用图像和文本等感知输入进行弱监督程序学习的挑战。
• 实现终身学习，使系统在学习新任务的同时提升对旧任务的性能。
• 开发一个随时间演化并提升多样任务性能的共享组件库。
• 将可微分解释器扩展至处理感知数据，并支持跨任务的组件共享。

提出的方法

• 将可微分解释器扩展以处理图像和文本等感知输入。
• 引入一个可重用组件的共享库，该库在各任务间逐步更新。
• 通过输入-输出示例的弱监督方式，在每个新任务上训练系统。
• 应用可微分编程技术，联合优化组件和任务特定程序。
• 支持任务间的组件共享，以促进知识迁移。
• 支持持续学习，即使在引入新任务后，早期任务的性能仍能持续提升。

实验结果

研究问题

• RQ1 在终身学习设置下，系统是否能仅通过输入-输出示例从感知数据中学习程序？
• RQ2 任务间共享组件在提升新任务和先前学习任务性能方面的有效性如何？
• RQ3 使用感知示例进行持续学习是否能随时间提升早期任务的性能？
• RQ4 组件共享在感知编程中在多大程度上增强了知识迁移？

主要发现

• LPPBE 系统通过从先前解决任务中有效迁移知识，显著提升了新任务的性能。
• 即使系统已转向学习新任务，早期任务的性能仍持续提升。
• 共享组件库实现了在多样化感知编程任务中更高效的学习和更好的泛化能力。
• 在涉及感知数据的终身学习场景中，该系统优于基线方法。