[논문 리뷰] A Probabilistic Dependent Type System based on Non-Deterministic Beta Reduction

Jonathan Warrell|arXiv (Cornell University)|2016. 02. 20.

Bayesian Modeling and Causal Inference참고 문헌 8인용 수 4

한 줄 요약

이 논문은 확률적 함수를 포함하는 확장된 종속 유형 이론에 비결정적 베타 축약을 기반으로 한 확률적 종속 유형 체계(PDTS)를 소개한다. 커리-하워드 이sov의미를 활용하여 유한 이산 분포를 보편적으로 표현하는 확률적 논리로 유도되며, 표준 번역을 통해 마르코프 논리 네트워크와 동등한 표현력을 확보한다.

ABSTRACT

We introduce Probabilistic Dependent Type Systems (PDTS) via a functional language based on a subsystem of intuitionistic type theory including dependent sums and products, which is expanded to include stochastic functions. We provide a sampling-based semantics for the language based on non-deterministic beta reduction. Further, we derive a probabilistic logic from the PDTS introduced as a direct result of the Curry-Howard isomorphism. The probabilistic logic derived is shown to provide a universal representation for finite discrete distributions.

연구 동기 및 목표

• intuitionistic 유형 이론 내에서 확률적 함수를 지원하는 확률적 종속 유형 체계(PDTS)를 개발하는 것.
• 비결정적 베타 축약을 사용하여 샘플링 기반 의미론을 언어에 제공하는 것.
• 커리-하워드 이sov의미를 통해 기존의 가중치 기반 또는 판단 기반 접근 방식과는 다름없는 새로운 확률적 논리를 PDTS에서 도출하는 것.
• 유도된 논리가 유한 이산 확률 분포를 보편적으로 표현할 수 있음을 보여주는 것.
• 표준 번역을 통해 PDTS와 마르코프 논리 네트워크 간의 표현력 동등성을 보여주는 것.

제안 방법

• 결정적 종속 유형 체계($\lambda P^{\Sigma\operatorname{bool}}$)를 비결정적 함수를 포함하도록 확장하며, 비결정적 베타 축약을 통해 이를 실현한다.
• 축약 경로가 확률적 결과에 대응하는 샘플링 기반 의미론을 정의하며, 확률은 분포 $\rho$에 의해 할당된다.
• 커리-하워드 이sov의미를 적용하여 유형 체계에서 확률적 논리를 도출하며, 유형을 명제로, 항을 증명으로 해석한다.
• PDTS 모델과 마르코프 논리 네트워크(MLNs) 간의 표준 번역을 구성하여, 둘 다 동일한 종류의 유한 이산 분포를 표현할 수 있음을 보여준다.
• 유형 유도 가능성($\tau_3 : \tau_2$)과 정규형 확률을 사용하여 유형에 대한 분포를 추정하며, $\iota_{\tau_1}(\tau_2)$는 $\tau_2$를 도출하는 정규형 $\tau_3$들에 대해 $\rho_{\tau_3}$의 합으로 정의된다.
• 전역 가정 $\Gamma_0, \Gamma_1$과 함수 바인딩에 대한 확률 분포 $P$를 포함하는 종속 유형 네트워크를 사용하여 확률적 의존성을 모델링한다.

실험 결과

연구 질문

• RQ1 커리-하워드 이sov의미를 통해 비결정적 확률 할당이 아닌 자연스럽게 확률적 논리를 종속 유형 체계에서 도출할 수 있는가?
• RQ2 비결정적 베타 축약은 종속 유형 체계 내에서 확률적 함수에 대해 샘플링 기반 의미론을 어떻게 제공할 수 있는가?
• RQ3 도출된 확률적 논리의 표현력은 무엇이며, 모든 유한 이산 확률 분포를 표현할 수 있는가?
• RQ4 PDTS 프레임워크와 기존의 확률적 논리 형식 체계(예: 마르코프 논리 네트워크) 사이에 표준 번역이 존재하는가?
• RQ5 확률적 모델에서 세계의 확률은 PDTS 내에서 유형 유도 가능성과 축약 확률을 통해 계산될 수 있는가?

주요 결과

• 유도된 확률적 논리는 마르코프 논리 네트워크로의 표준 번역을 통해 보편적인 유한 이산 확률 분포 표현을 제공한다.
• PDTS 모델에서 세계 $x_W$의 확률은 $x_W$와 일관된 공식의 부분집합 $H$에 대해 $\prod_{j\in H} p_j \cdot \prod_{j\notin H} (1-p_j)$로 가중된 합에 비례한다.
• 확률 $P(x_W|\Gamma_{0,1},P)$는 $P_2 = \sum_{H\in\mathcal{P}(\{1...N_F\})} (\prod_{j\in H} p_j)(\prod_{j\notin H} (1-p_j)) \cdot [\forall j\in H, \exists y \text{ s.t. } \Gamma',t:x_W \vdash y:F_j]$에 비례하며, $P_1 = 2^{-N_D}$는 정규화 상수에 흠집을 내어 포함된다.
• 시스템은 결정 가능 유형 체크를 지원하여, 샘플링을 통해 축약 경로에서 유형을 도출하는 정규형 $\tau_3$들에 대해 $\rho_{\tau_3}$의 합으로 $\iota_{\tau_1}(\tau_2)$를 추정할 수 있다.
• PDTS와 마르코프 논리 네트워크가 표현력에서 동등하며, 유형 유도와 가능한 세계에서의 논리 일관성 간의 직접적인 대응 관계가 존재함을 보여준다.
• 비결정적 베타 축약은 확률적 함수에 대해 자연스러운 의미론을 제공하며, 각 축약 경로는 기본 분포에서의 샘플에 대응한다.