[论文解读] Interactive Program Synthesis

Vu Le, Daniel Perelman+4 more|arXiv (Cornell University)|Mar 10, 2017

Software Engineering Research参考文献 11被引用 8

一句话总结

本文提出了一种交互式程序合成框架，通过在三个维度上形式化交互性——增量式合成、基于步骤的问题构建以及基于反馈的意图精炼——显著提升了从不完整规格说明中进行程序合成的性能与正确性。该方法显著加快了收敛速度并增强了用户信心，在真实案例研究中，对话式澄清优于其他模型。

ABSTRACT

Program synthesis from incomplete specifications (e.g. input-output examples) has gained popularity and found real-world applications, primarily due to its ease-of-use. Since this technology is often used in an interactive setting, efficiency and correctness are often the key user expectations from a system based on such technologies. Ensuring efficiency is challenging since the highly combinatorial nature of program synthesis algorithms does not fit in a 1-2 second response expectation of a user-facing system. Meeting correctness expectations is also difficult, given that the specifications provided are incomplete, and that the users of such systems are typically non-programmers. In this paper, we describe how interactivity can be leveraged to develop efficient synthesis algorithms, as well as to decrease the cognitive burden that a user endures trying to ensure that the system produces the desired program. We build a formal model of user interaction along three dimensions: incremental algorithm, step-based problem formulation, and feedback-based intent refinement. We then illustrate the effectiveness of each of these forms of interactivity with respect to synthesis performance and correctness on a set of real-world case studies.

研究动机与目标

• 为解决从不完整规格说明中进行程序合成时面临的性能与正确性挑战，特别是针对非程序员用户。
• 通过在三个维度上建模用户交互——增量式、基于步骤和基于反馈的精炼——形式化程序合成中的交互性。
• 通过提供可操作的交互式反馈机制，减轻用户认知负担并提升对生成程序的信心。
• 通过重用先前的合成状态并最小化冗余计算，实现实时用户系统中的高效合成。
• 开发一个可重用的、领域特定的假设生成器组件，用于生成澄清性查询，以解决候选程序之间的歧义。

提出的方法

• 在三个维度上形式化程序合成中的用户交互：增量式算法、基于步骤的问题构建以及基于反馈的意图精炼。
• 引入一个独立的“假设生成器”组件，分析候选程序并生成针对性的澄清性查询，以减少歧义。
• 使用歧义度量方法，选择在反馈循环中能最有效地区分候选程序的输入示例。
• 将主动学习原则适配到程序合成中，使查询不仅是标签，更是能触发新合成迭代的可操作约束。
• 将交互式合成过程映射到Oracle引导的归纳合成（OGIS）形式化框架，从而从CEGIS变体中获得理论保证。
• 设计一种复合领域特定语言（DSL），用于基于步骤的合成，使用户能够将复杂任务分解为更小、更易管理的子问题。

实验结果

研究问题

• RQ1 如何正式建模交互性，以提升从不完整规格说明中进行程序合成的性能与正确性？
• RQ2 增量式合成在降低用户感知延迟和提升响应能力方面起到什么作用？
• RQ3 不同反馈机制（如对话式澄清）如何影响收敛速度与用户信心？
• RQ4 能否设计一个领域特定的假设生成器，以自动生成澄清性查询，从而解决候选程序之间的歧义？
• RQ5 OGIS形式化框架在多大程度上可扩展以支持具有实时反馈的交互式、用户引导的合成？

主要发现

• 对话式澄清在收敛速度与用户信心方面均优于其他交互模型，证明了基于反馈精炼的有效性。
• 增量式合成通过重用先前计算，显著缩短了响应时间，大幅改善了交互环境下的用户体验。
• 基于步骤的问题构建使用户能够分解复杂任务，从而加快收敛速度并提升合成问题的可管理性。
• 假设生成器组件成功识别出歧义输入，并生成针对性查询，比随机或启发式查询选择更有效地缩小候选程序空间。
• 将主动学习原则整合到程序合成中，使得所需查询更少但信息量更丰富，减少了达到正确程序所需的用户交互次数。
• 与OGIS的形式化映射建立了理论上的严谨性，确保在标准CEGIS条件下，基于反例的查询能够保证收敛。