[论文解读] Accelerating Inference: towards a full Language, Compiler and Hardware stack

Shawn Hershey, Jeffrey G. Bernstein+5 more|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 2被引用 14

一句话总结

本文提出了 Dimple，一个用于概率建模的开源 API，允许用户将图模型定义为因子图，并自动生成推理引擎。它还作为 GP5 的编译器，通过优化稀疏张量运算和消息传递工作负载，在二值图像去噪任务中实现了相较于 CPU 推理高达 3,200× 的加速。

ABSTRACT

We introduce Dimple, a fully open-source API for probabilistic modeling. Dimple allows the user to specify probabilistic models in the form of graphical models, Bayesian networks, or factor graphs, and performs inference (by automatically deriving an inference engine from a variety of algorithms) on the model. Dimple also serves as a compiler for GP5, a hardware accelerator for inference.

研究动机与目标

• 通过完整的软硬件一体化管道，统一高层概率建模与高效、硬件优化的推理。
• 通过将推理算法从模型规范中抽象出来，减少复杂贝叶斯模型的原型开发时间。
• 通过模块化、可扩展的架构，实现自定义推理算法与硬件加速的无缝集成。
• 通过为稀疏、高复杂度因子表优化的专用 ASIC GP5，加速离散因子图上的推理。
• 提供一个将 Dimple 模型映射为高效 GP5 机器指令的编译器栈，以最小化延迟并最大化吞吐量。

提出的方法

• Dimple 使用模块化 API 将模型定义为因子图，将模型定义与推理引擎选择分离。
• 它支持多种推理算法，包括求和-乘积、最小-求和、吉布斯采样和粒子信念传播，且可扩展以支持新求解器。
• GP5 硬件加速器针对加权稀疏张量内积和高阶因子表进行了优化，配备 256KB 因子缓存和 18Gb/s 的 I/O 带宽。
• 专用编译器将 Dimple 模型转换为 GP5 机器指令，处理异构处理单元之间的复杂内存分配与时序约束。
• 该系统比某些概率语言（如 Church）更自然地支持有限域变量和硬约束（例如奇偶校验）。
• 该架构支持混合求解器策略和可定制的消息传递调度，提升了算法灵活性。

实验结果

研究问题

• RQ1 如何设计一个统一的软硬件栈，以在多种图模型上加速概率推理？
• RQ2 高层建模 API（如 Dimple）在不牺牲算法表达能力的前提下，能在多大程度上实现向专用硬件的高效编译？
• RQ3 通过协同设计领域专用编译器与加速器，可在因子图推理上实现多大的性能提升？
• RQ4 GP5 加速器的架构在真实推理工作负载中，如何实现相较于通用 CPU 的显著加速？
• RQ5 在专用推理芯片上，将高层模型映射为低层硬件指令的关键瓶颈是什么？

主要发现

• 在二值图像去噪基准测试中，GP5 加速器相比 Intel i7 CPU 实现了约 3,200× 的加速，得益于对稀疏张量运算和并行性的优化。
• 在立体视觉基准测试中，GP5 实现了 100× 的加速，但在低阶因子图上的性能提升更为有限。
• Dimple API 允许用户独立于推理算法选择来定义模型，从而实现新求解器的即插即用集成。
• GP5 模拟器提供了准确的性能估算，通过指令级性能分析识别并缓解计算瓶颈。
• 编译器栈成功将复杂的 Dimple 模型映射为 GP5 指令，处理了异构处理单元之间的变量分配与时序波动。
• Dimple 支持有限域变量、硬约束和 k 最佳近似等高级功能，在特定用例中相较于 Infer.NET 和 Church 等系统具有优势。