[论文解读] First-Class Functions for First-Order Database Engines

Torsten Grust, Alexander Ulrich|arXiv (Cornell University)|Aug 1, 2013

Advanced Database Systems and Queries参考文献 19被引用 6

一句话总结

本文提出查询去函数化（query defunctionalization），一种非侵入式转换技术，使一阶数据库引擎能够原生执行涉及一等函数的查询——这些函数被当作值处理，可作为参数传递，并可从高阶函数中返回。通过将函数闭包编码为数据结构，并将函数调用重写为类似表的分派机制，该方法使 XQuery 3.0 和 PL/SQL 风格的函数式查询能在标准关系型引擎上高效且正确地执行，实验结果表明其性能强劲且正确性可靠。

ABSTRACT

We describe Query Defunctionalization which enables off-the-shelf first-order database engines to process queries over first-class functions. Support for first-class functions is characterized by the ability to treat functions like regular data items that can be constructed at query runtime, passed to or returned from other (higher-order) functions, assigned to variables, and stored in persistent data structures. Query defunctionalization is a non-invasive approach that transforms such function-centric queries into the data-centric operations implemented by common query processors. Experiments with XQuery and PL/SQL database systems demonstrate that first-order database engines can faithfully and efficiently support the expressive "functions as data" paradigm.

研究动机与目标

• 使专为原子值和数据结构设计的一阶数据库引擎能够原生支持一等函数，这些函数在现代查询语言（如 XQuery 3.0 和 PL/SQL）中被视为一等值。
• 解决传统数据库内核中缺乏对函数值的原生运行时支持的问题，这些内核通常仅支持原子值、序列和 XML 节点。
• 提供一种非侵入式转换技术，保留函数查询的语义，同时将其映射为标准关系代数操作。
• 证明现有的一阶引擎能够无需运行时语言扩展或内核修改，高效且正确地执行表达性强的函数式查询模式，包括高阶函数和函数字面量。

提出的方法

• 查询去函数化将函数构造——函数字面量、命名函数引用和动态调用——转换为基于带唯一标签的闭包构造器的数据中心表示。
• 函数字面量被编码为带标签的闭包，捕获其环境中的自由变量，表示为在闭包创建时绑定的值元组。
• 函数调用被替换为使用 case-of-branch 表的分派机制，该表将闭包标签映射到其对应体和环境。
• 该转换是语法导向且全查询范围的，通过分析完整查询上下文（包括函数声明及其自由变量）确保语义一致性。
• 该方法借鉴了编程语言理论中的去函数化技术，并特别适配于 XQuery 3.0 和 PL/SQL，将高阶构造映射为一阶关系操作。
• 该转换实现为源到源的编译器阶段，保留查询语义的同时，使查询能在标准数据库引擎上执行。

实验结果

研究问题

• RQ1 一阶数据库引擎是否能在不依赖运行时语言扩展或内核修改的前提下，原生支持一等函数？
• RQ2 如何将高阶函数、函数字面量和闭包等函数式查询模式忠实转换为等价的一阶关系操作？
• RQ3 在标准数据库引擎上执行复杂函数式查询时，去函数化会引入何种性能开销（若有）？
• RQ4 去函数化在多大程度上能保持函数式编程惯用模式（如 map、fold 和关联映射）在 XQuery 和 PL/SQL 中的表达力与清晰度？
• RQ5 该转换能否在包括嵌套闭包和高阶抽象（如 fold-right）在内的多种查询模式中统一应用？

主要发现

• 查询去函数化成功将包含一等函数的 XQuery 3.0 和 PL/SQL 查询转换为等价的一阶关系操作，使它们能在标准数据库引擎上执行。
• 转换保持了语义正确性，如通过函数字面量正确执行复杂的函数式惯用模式（如 fold-right 和 map 的实现）所证明。
• 在 XQuery 和 PL/SQL 系统上的实验表明，去函数化查询的性能与原生函数式实现相当，开销极小。
• 该方法支持将 map 直接实现为从键到值的函数，相比图 3 中等效的基于 XML 的数据结构，更加简洁且声明式。
• 通过带标签的分派表表示闭包，可实现高效的函数调用，并支持嵌套闭包，包括从外层作用域捕获自由变量的闭包。
• 该方法是非侵入且可复用于不同数据库系统的，因其作为源到源转换运行，无需修改底层查询引擎。