[论文解读] Deep Probabilistic Programming Languages: A Qualitative Study

Guillaume Baudart, Martin Hirzel+1 more|arXiv (Cornell University)|Apr 17, 2018

Machine Learning and Data Classification参考文献 22被引用 8

一句话总结

本文对两种领先的深度概率编程语言 Edward 和 Pyro 进行了定性比较研究，分析了它们在概率建模与深度学习结合中的设计、可用性和表达能力。研究识别出抽象泄漏、简洁性以及推理可扩展性方面的关键挑战，同时突出了其在组合性、不确定性建模和层次化表征学习方面的优势。

ABSTRACT

Deep probabilistic programming languages try to combine the advantages of deep learning with those of probabilistic programming languages. If successful, this would be a big step forward in machine learning and programming languages. Unfortunately, as of now, this new crop of languages is hard to use and understand. This paper addresses this problem directly by explaining deep probabilistic programming languages and indirectly by characterizing their current strengths and weaknesses.

研究动机与目标

• 通过提供 Edward 和 Pyro 的清晰、以代码为导向的对比，降低研究人员和实践者在深度概率编程领域的入门门槛。
• 识别并描述当前深度 PPL 的优势与劣势，尤其关注语言设计、抽象能力和可用性方面。
• 通过突出表达能力、简洁性、严密抽象以及对小样本学习和高精度训练的支持方面的空白，为未来研究提供指导。
• 将深度 PPL 定位为概率编程、深度学习和编程语言原理的有前途融合，重点关注可解释性和不确定性建模。

提出的方法

• 以基于 TensorFlow 的 Edward 和基于 PyTorch 的 Pyro 作为代表性深度 PPL，使用一致的术语提供两种语言的代码示例。
• 采用对比教程方法，以逐步复杂化的模型在两种语言中进行展示，突出语法、控制流和抽象方面的差异。
• 分析语言层面的特性，如对动态控制结构（例如循环和条件语句）的支持，比较 PyTorch 的动态计算图与 TensorFlow 的静态图在 Edward 中的应用。
• 通过考察深度 PPL 在隐藏低级实现细节（尤其是张量维度追踪）方面的表现，评估抽象质量，特别是在错误信息中的体现。
• 比较先验分布和指导分布（guides）在变分推断中的作用，评估模型和指导定义的冗长度与结构。
• 评估模型与推理过程的组合性，特别关注 Edward 在组合模型和推理算法方面的支持能力。

实验结果

研究问题

• RQ1 Edward 和 Pyro 在支持概率模型中的动态控制结构（如循环和条件语句）方面有何不同？
• RQ2 深度 PPL 在多大程度上提供了严密的抽象，防止低级实现细节（如张量维度）泄露到用户代码中？
• RQ3 Edward 和 Pyro 的设计选择如何影响概率模型和指导的简洁性与可读性？
• RQ4 尽管理论上可行，当前深度 PPL 在支持小样本学习和高精度训练方面存在哪些局限性？
• RQ5 深度 PPL 如何更好地整合概率建模（不确定性、可解释性）与深度学习（自动特征学习、可扩展性）的优势？

主要发现

• 由于基于 PyTorch 的动态计算图，Pyro 对原生 Python 控制结构（如循环和条件语句）的支持比 Edward 更自然。
• Edward 依赖于 TensorFlow 的静态计算图，必须使用特殊 API 才能嵌入动态控制流，导致此类结构更加冗长且不够直观。
• Edward 和 Pyro 均存在抽象泄漏问题：错误信息常掩盖维度不匹配的根源，且计算图中变量名被擦除，增加了调试难度。
• Edward 在编写模型和指导时比 Pyro 更简洁，但 Pyro 使用函数和类增强了结构化，支持基于协程的高效推理。
• 尽管是图灵完备的，Edward 当前的实现限制了动态结构的表达能力，表明需要更好地集成现代动态深度学习特性。
• 该领域目前缺乏对 Pyro 中蒙特卡洛推理的稳健支持，其当前重点在于变分推断，这表明这是未来扩展的关键领域。