[论文解读] Enabling Operator Reordering in Data Flow Programs Through Static Code Analysis

Fabian Hueske, Aljoscha Krettek+1 more|arXiv (Cornell University)|Jan 17, 2013

Cloud Computing and Resource Management参考文献 9被引用 6

一句话总结

本文提出了一种静态代码分析技术，通过反向数据流和控制流分析自动推断操作符属性（如字段投影、复制和写入），从而在数据流程序中实现代数操作符重排序。该方法在指令式数据流系统中安全地模拟了关系代数优化，实现了精确的冲突检测，且性能开销极低。

ABSTRACT

In many massively parallel data management platforms, programs are represented as small imperative pieces of code connected in a data flow. This popular abstraction makes it hard to apply algebraic reordering techniques employed by relational DBMSs and other systems that use an algebraic programming abstraction. We present a code analysis technique based on reverse data and control flow analysis that discovers a set of properties from user code, which can be used to emulate algebraic optimizations in this setting.

研究动机与目标

• 解决现代数据流系统中因使用指令式用户定义函数（UDFs）而缺乏代数优化支持的问题。
• 通过揭示UDFs的隐藏语义属性，实现数据流程序中操作符的安全重排序。
• 通过自动代码分析，弥合数据流编程模型与关系代数优化之间的差距。
• 提供一种保守且可扩展的分析方法，通过重排序实现性能提升，而无需手动注释。

提出的方法

• 该方法对UDFs执行反向数据流和控制流分析，以计算被读取、写入、复制或投影的字段集合。
• 通过递归遍历语句并使用记忆化技术检测数据冲突和源信息，即使在存在循环的情况下也能安全终止。
• 该算法计算use-def和def-use链的保守近似，以追踪字段依赖关系和源记录。
• 通过分析控制流路径和潜在的循环迭代次数，推导emit基数的下界和上界。
• 该分析维护记忆表以避免重复计算，并确保在有限时间内终止。
• 推断出的属性（如投影、复制和显式写入集合）使得数据流管道中操作符的安全重排序成为可能。

实验结果

研究问题

• RQ1 在数据流程序的指令式UDFs中，静态分析能否可靠地推断出代数操作符重排序所需的属性？
• RQ2 如何结合数据流和控制流分析，在无需手动注释的情况下检测UDFs中的字段级数据冲突？
• RQ3 所提出的分析在确保通过保守性实现正确性的同时，能在多大程度上保留优化潜力？
• RQ4 与手动注释相比，自动推断属性的精度如何？
• RQ5 该分析在真实数据流工作负载中的性能开销和可扩展性如何？

主要发现

• 所提出的静态分析技术在估计字段级数据冲突方面具有高精度，其结果与手动注释属性高度一致。
• 该方法通过保守近似确保安全性，保证重排序不会改变程序语义。
• 该分析在O(en)时间内终止，其中n为UDF的大小，e为emit语句的数量，前提是use-def链已预先计算。
• 该算法正确识别了字段投影、复制和显式写入，从而支持模拟关系代数优化，如选择下推和连接重排序。
• 该方法适用于使用MapReduce风格 UDF 的系统，包括Stratosphere、Hadoop及其他数据流平台。
• 由于使用了记忆化和带早期终止的递归遍历，该技术对循环和复杂控制流具有鲁棒性。