[论文解读] The Three Pillars of Machine Programming

Justin Gottschlich, Armando Solar-Lezama+7 more|arXiv (Cornell University)|Mar 20, 2018

Scientific Computing and Data Management参考文献 95被引用 5

一句话总结

本文提出了一套以三个支柱为核心的机器编程概念框架：意图（通过自然输入理解人类意图）、发明（利用机器学习自动创建或优化算法与系统组件）以及适应（利用机器学习使软件自主演化）。其核心贡献在于通过机器学习实现软件开发与维护自动化的结构化愿景，旨在使非专家也能轻松高效地进行编程，同时降低底层复杂性。

ABSTRACT

In this position paper, we describe our vision of the future of machine programming through a categorical examination of three pillars of research. Those pillars are: (i) intention, (ii) invention, and(iii) adaptation. Intention emphasizes advancements in the human-to-computer and computer-to-machine-learning interfaces. Invention emphasizes the creation or refinement of algorithms or core hardware and software building blocks through machine learning (ML). Adaptation emphasizes advances in the use of ML-based constructs to autonomously evolve software.

研究动机与目标

• 为应对后 Dennard 缩放时代日益复杂的编程挑战与认知负担，该时代硬件日趋异构且复杂。
• 通过使机器能够协助编写、优化和维护正确且高效的软件，减少对专家程序员的依赖。
• 构建一个统一新兴自动化编程研究的概念框架，聚焦于人机协作、算法创新与系统演化。
• 识别并解决关键挑战，如数据隐私、生命周期管理，以及机器学习与传统编程系统的集成。
• 使非程序员和领域专家能够以自然形式表达计算目标，由机器自动生成并维护正确软件。

提出的方法

• 利用深度学习与自然语言理解的进展，从自然输入（如文本、语音、手势）中解析用户意图。
• 使用程序合成与自动推理技术（例如 SAT/SMT 求解器）从高层规格自动生成正确构造的代码。
• 应用机器学习技术，通过从大型代码库和性能数据中学习，来发明新的算法与系统组件，包括软硬件协同设计。
• 开发基于机器学习的适应机制，监控软件行为，并根据新硬件、错误或安全漏洞自主演化代码。
• 利用来自公共代码仓库（如 GitHub）和嵌入网页的代码（如 JavaScript）的大规模数据作为模型学习的训练数据。
• 集成数据、模型与软件的生命周期管理实践，以确保机器编程系统的长期稳定性、安全性与持续演化。

实验结果

研究问题

• RQ1 机器编程系统如何有效从自然的人机友好输入（如自然语言或手势）中解析用户的意图？
• RQ2 哪些机器学习技术可用于从数据中自动发明或优化核心算法与系统组件（如编译器、加速器）？
• RQ3 基于机器学习的系统如何随时间响应不断变化的需求、硬件平台或发现的漏洞，自主适应软件？
• RQ4 使用真实与合成代码数据训练机器编程模型有何影响？如何确保数据质量和隐私？
• RQ5 为应对硬件与软件生态系统的持续演进，需采取何种生命周期管理策略以维持并推动机器编程系统的可持续发展与演化？

主要发现

• 将深度学习与程序合成相结合，使机器能够从自然输入中解析高层用户意图，并生成正确且高效的代码。
• 通过从大型代码库和性能追踪数据中学习，机器学习可用于发现或优化算法与系统组件，如编译器优化或硬件加速器。
• 自适应机器编程系统可利用基于机器学习的推理与转换，自主检测并修复错误，修补安全漏洞，并为新硬件平台重新配置软件。
• GitHub 等公共代码仓库以及大量网页代码，为训练机器编程模型提供了关键的数据基础。
• 数据隐私与知识产权问题仍是重大开放挑战，尤其涉及基于受版权保护代码训练的模型所生成代码的版权状态问题。
• 对数据、模型与软件的生命周期管理对于机器编程系统的长期稳定性与演化至关重要，需持续监控与改进。