[论文解读] A Probabilistic Dependent Type System based on Non-Deterministic Beta Reduction

Jonathan Warrell|arXiv (Cornell University)|Feb 20, 2016

Bayesian Modeling and Causal Inference参考文献 8被引用 4

一句话总结

本文提出了一种基于随机函数扩展的依赖类型理论中非确定性β归约的概率依赖类型系统（PDTS）。通过利用Curry-Howard同构，推导出一种通用的概率逻辑，可普遍表示有限离散分布，并通过标准翻译与马尔可夫逻辑网络（Markov Logic Networks）建立表达能力等价性。

ABSTRACT

We introduce Probabilistic Dependent Type Systems (PDTS) via a functional language based on a subsystem of intuitionistic type theory including dependent sums and products, which is expanded to include stochastic functions. We provide a sampling-based semantics for the language based on non-deterministic beta reduction. Further, we derive a probabilistic logic from the PDTS introduced as a direct result of the Curry-Howard isomorphism. The probabilistic logic derived is shown to provide a universal representation for finite discrete distributions.

研究动机与目标

• 开发一种支持直觉类型理论中随机函数的概率依赖类型系统（PDTS）。
• 通过非确定性β归约，为语言提供基于采样的语义。
• 通过Curry-Howard同构从PDTS推导出一种新颖的概率逻辑，区别于以往基于权重或判断的方法。
• 证明所推导的逻辑可普遍表示有限离散概率分布。
• 通过标准翻译，展示PDTS与马尔可夫逻辑网络（MLNs）在表达能力上的等价性。

提出的方法

• 将确定性依赖类型系统（$\lambda P^{\Sigma\operatorname{bool}}$）扩展，通过非确定性β归约引入非确定性函数。
• 定义基于采样的语义，其中归约序列对应概率结果，概率通过分布$\rho$分配。
• 应用Curry-Howard同构，从类型系统推导出概率逻辑，将类型解释为命题，项解释为证明。
• 构建PDTS模型与马尔可夫逻辑网络（MLNs）之间的标准翻译，表明两者均可表示同一类有限离散分布。
• 使用类型可导性（$\tau_3 : \tau_2$）和正规形式概率，估计类型上的分布，其中$\iota_{\tau_1}(\tau_2)$定义为所有能导出$\tau_2$的正规形式$\tau_3$的$\rho_{\tau_3}$之和。
• 采用具有全局假设$\Gamma_0, \Gamma_1$和函数绑定上概率分布$P$的依赖类型网络，以建模概率依赖关系。

实验结果

研究问题

• RQ1 能否通过Curry-Howard同构自然地从依赖类型系统推导出概率逻辑，而非通过人为的概率赋值？
• RQ2 非确定性β归约如何为依赖类型系统中随机函数提供基于采样的语义？
• RQ3 所推导的概率逻辑的表达能力如何？是否能表示所有有限离散概率分布？
• RQ4 PDTS框架与现有概率逻辑形式化（如马尔可夫逻辑网络）之间是否存在标准翻译？
• RQ5 能否通过PDTS中的类型可导性和归约概率计算概率模型中某一世界概率？

主要发现

• 所推导的概率逻辑可对有限离散概率分布进行通用表示，如与马尔可夫逻辑网络的标准翻译所示。
• 给定PDTS模型下，世界$x_W$的概率与所有与$x_W$一致的公式子集$H$的加权和成正比，权重为$\prod_{j\in H} p_j \cdot \prod_{j\notin H} (1-p_j)$。
• 世界$x_W$的条件概率$P(x_W|\Gamma_{0,1},P)$与$P_2 = \sum_{H\in\mathcal{P}(\{1...N_F\})} (\prod_{j\in H} p_j)(\prod_{j\notin H} (1-p_j)) \cdot [\forall j\in H, \exists y \text{ s.t. } \Gamma',t:x_W \vdash y:F_j]$成正比，其中$P_1 = 2^{-N_D}$被吸收进归一化常数。
• 该系统支持可判定的类型检查，可通过从归约序列采样，估计$\iota_{\tau_1}(\tau_2)$为所有能导出$\tau_2$的正规形式$\tau_3$的$\rho_{\tau_3}$之和。
• PDTS与马尔可夫逻辑网络在表达能力上被证明等价，类型推导与可能世界中逻辑一致性之间存在直接对应关系。
• 非确定性β归约为随机函数提供了自然的语义，其中每条归约路径对应于底层分布的一个样本。