[论文解读] Learning to Improve Code Efficiency

Binghong Chen, Daniel Tarlow+6 more|arXiv (Cornell University)|Aug 9, 2022

Software Engineering Research被引用 4

一句话总结

本文提出一种离散变分自编码器（Edit-VQVAE），从大规模编程竞赛数据集中学习并生成性能优化型代码修改。通过将高效的代码转换建模为离散潜在变量，该方法在正确性、效率和多样性方面均优于序列到序列基线模型，表明机器学习可通过可解释、可操作的反馈指导开发者编写高性能代码。

ABSTRACT

Improvements in the performance of computing systems, driven by Moore's Law, have transformed society. As such hardware-driven gains slow down, it becomes even more important for software developers to focus on performance and efficiency during development. While several studies have demonstrated the potential from such improved code efficiency (e.g., 2x better generational improvements compared to hardware), unlocking these gains in practice has been challenging. Reasoning about algorithmic complexity and the interaction of coding patterns on hardware can be challenging for the average programmer, especially when combined with pragmatic constraints around development velocity and multi-person development. This paper seeks to address this problem. We analyze a large competitive programming dataset from the Google Code Jam competition and find that efficient code is indeed rare, with a 2x runtime difference between the median and the 90th percentile of solutions. We propose using machine learning to automatically provide prescriptive feedback in the form of hints, to guide programmers towards writing high-performance code. To automatically learn these hints from the dataset, we propose a novel discrete variational auto-encoder, where each discrete latent variable represents a different learned category of code-edit that increases performance. We show that this method represents the multi-modal space of code efficiency edits better than a sequence-to-sequence baseline and generates a distribution of more efficient solutions.

研究动机与目标

• 解决在代码中识别和应用高层次性能优化的挑战，这些优化因复杂性和硬件交互而难以被开发者理解。
• 研究真实世界编程竞赛解决方案中高性能代码的稀缺性及其特征，其中效率差异显著。
• 开发一种机器学习框架，生成可指导开发者编写更快代码的可解释、可操作的反馈。
• 使用离散潜在变量结构建模性能优化型代码修改的多模态空间，以实现可解释且多样的修改。
• 证明学习到的离散修改可优于标准序列到序列模型，在生成正确、高效且多样的代码转换方面表现更优。

提出的方法

• 该方法采用带有学习到的潜在词典的离散变分自编码器（VQ-VAE），其中每个离散潜在码对应一种特定类型的性能优化修改类别。
• 模型在来自Google Code Jam解决方案的代码修改规范化数据集上进行训练，将较慢的程序映射为语义等价但更快的版本。
• 使用基于Transformer的编码器和解码器来建模输入和输出代码，离散潜在空间有助于稳定训练并避免后验坍缩。
• 模型学会生成如用内置函数替换循环、更改数据结构（例如从列表改为堆）或启用早期终止等修改。
• 该框架可基于给定程序进行条件生成，从而为同一输入建议多种不同且高效的转换。
• 模型在正确性、效率（以运行时间减少衡量）和生成修改的多样性方面进行评估，并与序列到序列基线进行比较。

实验结果

研究问题

• RQ1 机器学习模型能否从真实世界编程数据中学习生成高质量、性能优化型代码修改？
• RQ2 与序列到序列模型相比，离散潜在变量模型在捕捉高效代码转换的多模态空间方面表现如何？
• RQ3 所学习的离散潜在变量是否对应于一致且可解释的代码修改模式，从而提升性能？
• RQ4 该模型能否在真实场景中生成多样、正确且高效的代码修改，且优于基线方法？
• RQ5 生成的修改在多大程度上反映了已知的性能优化模式，如算法改进、数据结构选择和库函数使用？

主要发现

• 高性能代码在编程竞赛中极为罕见：第90百分位的解决方案运行时间超过中位数的2倍，凸显了编写高效代码的挑战。
• 所提出的Edit-VQVAE模型在正确性、效率和生成修改的多样性三个评估维度上均优于序列到序列基线模型。
• 所学习的离散潜在变量对应于一致且可解释的代码修改模式，例如从for循环切换到while循环，或用内置map函数替换自定义循环。
• 该模型成功识别并应用了如早期终止、高效数据结构（例如堆）以及减少API调用等优化，带来了可测量的性能提升。
• 该模型生成了语义正确且高效的输入代码变体，其修改既安全又有效，已在测试示例中得到验证。
• 所学习的潜在空间具有可解释性，单个潜在码始终映射到特定类型的性能优化转换。