[论文解读] egg: Fast and Extensible E-graphs

Max Willsey, Yisu Remy Wang+4 more|arXiv (Cornell University)|Apr 7, 2020

Software Engineering Research被引用 1

一句话总结

本文介绍了 egg，一个开源的 e-graph 库，可加速并扩展 e-graph 在等式饱和工作负载中的应用。它提出了一种名为重建（rebuilding）的新摊销合 congruence 闭包算法，以及一种称为 e-class 分析的机制，在编译器优化和程序合成工作负载中实现了高达 3000 倍的性能提升，同时支持领域特定的可扩展性。

ABSTRACT

An e-graph efficiently represents a congruence relation over many expressions. Although they were originally developed in the late 1970s for use in automated theorem provers, a more recent technique known as equality saturation repurposes e-graphs to implement state-of-the-art, rewrite-driven compiler optimizations and program synthesizers. However, e-graphs remain unspecialized for this newer use case. Equality saturation workloads exhibit distinct characteristics and often require ad hoc e-graph extensions to incorporate transformations beyond purely syntactic rewrites. This work contributes two techniques that make e-graphs fast and extensible, specializing them to equality saturation. A new amortized congruence closure algorithm called rebuilding takes advantage of equality saturation's distinct workload, providing asymptotic speedups over current techniques in practice. A general mechanism called e-class analyses integrates domain-specific analyses into the e-graph, reducing the need for ad hoc manipulation. We implemented these techniques in a new open-source library called egg. Our case studies on three previously published applications of equality saturation highlight how the flexibility of e-class analyses supports diverse domains and how egg can provide up to 3000x speed ups.

研究动机与目标

• 解决现有 e-graph 在等式饱和工作负载中性能和可扩展性方面的局限性。
• 通过识别不同工作负载特征，将 e-graph 专门化用于现代编译器优化和程序合成。
• 通过将领域特定分析直接集成到 e-graph 结构中，减少对临时 e-graph 扩展的依赖。
• 设计一个可扩展且高效的 e-graph 系统，兼顾性能与可扩展性。
• 在程序分析和合成的多样化应用中，展示实际的性能提升和灵活性。

提出的方法

• 提出重建（rebuilding）算法，一种新型摊销合 congruence 闭包算法，利用等式饱和工作负载的重复性和结构性，实现渐近性能提升。
• 设计 e-class 分析作为通用机制，将领域特定分析嵌入 e-graph，减少对低层级、临时性操作的依赖。
• 在 egg 中实现这些技术，egg 是一个开源 e-graph 库，支持在等式饱和下高效构建、维护和查询 e-graph。
• 利用等式饱和的结构规律性，通过在多个重写步骤中延迟和批量处理更新，优化合 congruence 闭包。
• 通过允许用户定义自定义分析，使其在重写过程中传播通过 e-graph 结构，支持可扩展性。
• 采用混合方法，结合急迫和延迟评估策略，以在 e-graph 维护中平衡性能与精度。

实验结果

研究问题

• RQ1 如何针对程序合成和编译中等式饱和的特定工作负载模式优化 e-graph？
• RQ2 哪些算法技术可在等式饱和下的 e-graph 维护中实现渐近性能提升？
• RQ3 如何系统性地将领域特定分析集成到 e-graph 中，而无需依赖临时扩展？
• RQ4 通用 e-graph 库在真实世界应用中，能在多大程度上同时实现高性能和可扩展性？
• RQ5 当将专用 e-graph 技术应用于成熟等式饱和工作负载时，可实现多大的性能提升？

主要发现

• 重建（rebuilding）算法通过利用等式饱和工作负载的规律性，相较于现有合 congruence 闭包技术实现了渐近性能提升。
• e-class 分析机制实现了领域特定知识在 e-graph 中的无缝集成，减少了对自定义低层级修改的需求。
• 在三个已发表的等式饱和应用案例研究中，egg 相较于先前系统实现了高达 3000 倍的性能提升。
• 重建与 e-class 分析的结合，使单一统一的 e-graph 系统同时实现了高性能和高可扩展性。
• 开源的 egg 库在编译器优化和程序合成等多样化领域中，展示了实际可行性与显著性能提升。
• 结果表明，针对工作负载特征进行专门化的 e-graph 设计，可显著提升真实工作负载中的性能与可用性。