[论文解读] InferSpark: Statistical Inference at Scale

Zhuoyue Zhao, Jialing Pei+3 more|arXiv (Cornell University)|Jul 7, 2017

Advanced Database Systems and Queries参考文献 18被引用 3

一句话总结

InferSpark 是一个基于 Apache Spark 构建的概率编程框架，可为自定义贝叶斯模型提供可扩展的统计推断。它通过领域特定的语法扩展 Scala，简洁地定义模型，将模型编译为分布式推断代码，并利用 Spark 的内存内处理加速大规模推断——在 LDA 模型上相比手写实现，代码量减少了 70 倍。

ABSTRACT

The Apache Spark stack has enabled fast large-scale data processing. Despite a rich library of statistical models and inference algorithms, it does not give domain users the ability to develop their own models. The emergence of probabilistic programming languages has showed the promise of developing sophisticated probabilistic models in a succinct and programmatic way. These frameworks have the potential of automatically generating inference algorithms for the user defined models and answering various statistical queries about the model. It is a perfect time to unite these two great directions to produce a programmable big data analysis framework. We thus propose, InferSpark, a probabilistic programming framework on top of Apache Spark. Efficient statistical inference can be easily implemented on this framework and inference process can leverage the distributed main memory processing power of Spark. This framework makes statistical inference on big data possible and speed up the penetration of probabilistic programming into the data engineering domain.

研究动机与目标

• 解决 Apache Spark 等可扩展大数据框架中缺乏对自定义统计模型开发支持的问题。
• 克服现有概率编程框架（如 Infer.NET、Church、Figaro）在大规模数据集或分布式环境下的可伸缩性限制。
• 使数据科学家和统计学家能够以简洁的编程方式定义复杂的贝叶斯模型，而无需手动实现底层分布式推断算法。
• 将概率编程的表达能力与 Spark 的分布式计算能力统一，使可扩展的统计推断更加普及。

提出的方法

• 扩展 Scala 以支持概率编程构造，允许使用针对分布和条件依赖关系的领域特定语法直观地定义模型。
• 将用户定义的模型编译为优化后的 Spark 兼容 Scala 类和对象，封装推断算法。
• 实现一个编译器和运行时系统，使用 Spark 的 RDD 和 Dataset API 将高层模型定义转换为分布式推断管道。
• 利用变分消息传递（VMP）实现指数族共轭模型中的高效推断，如具有狄利克雷先验的 LDA 模型。
• 为用户提供清晰的 API，用于输入观测数据，并查询模型的后验分布或期望值。
• 设计框架以支持未来可扩展性，包括对非共轭先验、其他推断算法（如吉布斯采样）以及基于插件的推断实现的支持。

实验结果

研究问题

• RQ1 概率编程能否有效集成到 Apache Spark 等分布式大数据平台中，以实现可扩展的统计推断？
• RQ2 在通用编程语言（如 Scala）中，通过领域特定语言扩展在多大程度上可以简化模型定义？
• RQ3 与现有库（如 MLlib）中针对标准模型（如 LDA）的手动优化实现相比，InferSpark 的性能和代码复杂度如何？
• RQ4 该框架能否支持复杂贝叶斯网络在指数族共轭模型之外的高效分布式推断？

主要发现

• InferSpark 仅用 7 行 Scala 代码即可定义潜在狄利克雷分配（LDA）模型，而 MLlib 实现需 503 行代码，显著降低了实现复杂度。
• 通过利用 Spark 的分布式内存计算，该框架成功将统计推断扩展到大规模数据集，克服了单机概率框架（如 Infer.NET）的内存限制。
• 实证评估证实，InferSpark 能够高效执行分布式推断，推断时间和内存使用量与数据规模和模型复杂度成比例。
• 该原型支持指数族共轭模型的变分消息传递（VMP），实现快速且可扩展的后验估计。
• 该系统设计具备可扩展性，未来计划支持非共轭先验、马尔可夫随机场以及吉布斯采样等替代推断算法。
• InferSpark 为统计学家和数据科学家打开了大门，使其能够在无需底层分布式系统编程的情况下，大规模构建和实验自定义贝叶斯模型。