[論文レビュー] A Probabilistic Dependent Type System based on Non-Deterministic Beta Reduction

Jonathan Warrell|arXiv (Cornell University)|Feb 20, 2016

Bayesian Modeling and Causal Inference参考文献 8被引用数 4

ひとこと要約

本稿は、確率的関数を備えた拡張された依存型理論に非決定的β簡約を導入することで、確率的依存型システム（PDTS）を提案する。カリー＝ハワード同型を活用することで、有限離散確率分布を普遍的に表現する確率論的論理を導出し、標準的翻訳を通じてマークフ・ロジック・ネットワーク（MLN）と同等の表現力を有することを確立する。

ABSTRACT

We introduce Probabilistic Dependent Type Systems (PDTS) via a functional language based on a subsystem of intuitionistic type theory including dependent sums and products, which is expanded to include stochastic functions. We provide a sampling-based semantics for the language based on non-deterministic beta reduction. Further, we derive a probabilistic logic from the PDTS introduced as a direct result of the Curry-Howard isomorphism. The probabilistic logic derived is shown to provide a universal representation for finite discrete distributions.

研究の動機と目的

• インtuitionistic型理論内に確率的関数をサポートする確率的依存型システム（PDTS）を構築すること。
• 非決定的β簡約を用いて、サンプリングに基づく意味論を言語に導入すること。
• カリー＝ハワード同型を用いて、従来の重みベースや判断ベースのアプローチとは異なる、新たな確率論的論理をPDTSから導出すること。
• 導出された論理が有限離散確率分布を普遍的に表現できることを示すこと。
• 標準的翻訳を通じて、PDTSとマークフ・ロジック・ネットワーク（MLN）との間で表現力の同等性を示すこと。

提案手法

• $\lambda P^{\Sigma\operatorname{bool}}$ と呼ばれる決定的依存型システムを、非決定的β簡約を介して非決定的関数を含むように拡張する。
• 還元列が確率的結果に対応するサンプリングに基づく意味論を定義し、確率分布 $\rho$ を用いて確率を割り当てる。
• カリー＝ハワード同型を適用し、型を命題、項を証明と解釈することで、型システムから確率論的論理を導出する。
• PDTSのモデルとマークフ・ロジック・ネットワーク（MLN）の間で標準的翻訳を構築し、両者が同じクラスの有限離散確率分布を表現できることを示す。
• 型導出可能性（$\tau_3 : \tau_2$）と正規形の確率を用いて、型上の分布を推定する。ここで $\iota_{\tau_1}(\tau_2)$ は、$\tau_2$ を導出する正規形 $\tau_3$ 全体における $\rho_{\tau_3}$ の和として定義される。
• グローバル仮定 $\Gamma_0, \Gamma_1$ と関数束縛に関する確率分布 $P$ を用いた依存型ネットワークを用いて、確率的依存関係をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 カリー＝ハワード同型を用いて、恣意的な確率割り当てではなく、依存型システムから自然に確率論的論理を導出できるか？
• RQ2 非決定的β簡約は、依存型システムにおける確率的関数のサンプリングに基づく意味論をどのように提供できるか？
• RQ3 導出された確率論的論理の表現力はどの程度か？ すべての有限離散確率分布を表現できるか？
• RQ4 PDTSフレームワークと、マークフ・ロジック・ネットワークのような既存の確率論的論理形式主義との間に標準的翻訳は存在するか？
• RQ5 確率的モデルにおける世界の確率は、PDTSにおける型導出可能性と還元確率を用いて計算可能か？

主な発見

• 導出された確率論的論理は、マークフ・ロジック・ネットワークへの標準的翻訳により、有限離散確率分布を普遍的に表現可能であることが示された。
• PDTSモデルのもとで世界 $x_W$ の確率は、$x_W$ と整合する論理式の部分集合 $H$ の和に比例し、重みは $\prod_{j\in H} p_j \cdot \prod_{j\notin H} (1-p_j)$ となる。
• 確率 $P(x_W|\Gamma_{0,1},P)$ は $P_2 = \sum_{H\in\mathcal{P}(\{1...N_F\})} (\prod_{j\in H} p_j)(\prod_{j\notin H} (1-p_j)) \cdot [\forall j\in H, \exists y \text{ s.t. } \Gamma',t:x_W \vdash y:F_j]$ に比例する。ここで $P_1 = 2^{-N_D}$ は正規化定数に吸収される。
• このシステムは型チェックが決定可能であり、還元列からのサンプリングにより、$\iota_{\tau_1}(\tau_2)$ を正規形 $\tau_3$ が $\tau_2$ を導出するものについて $\rho_{\tau_3}$ の和として推定可能である。
• PDTSとマークフ・ロジック・ネットワークは、表現力において同等であることが示され、型導出と可能な世界における論理的一致性の間に直接的な対応関係がある。
• 非決定的β簡約により、確率的関数の自然な意味論が可能となり、各還元経路が対応する分布からのサンプルに対応する。