[논문 리뷰] Formal verification of higher-order probabilistic programs

Tetsuya Sato, Alejandro Aguirre외 4명|arXiv (Cornell University)|2018. 07. 16.

Logic, Reasoning, and Knowledge참고 문헌 58인용 수 10

한 줄 요약

이 논문은 연속 분포와 조건화를 갖춘 고차수 확률적 프로그램을 검증하기 위한 형식적 논리 프레임워크인 PPV를 소개한다. 이는 준보렐 공간(QBS)을 의미론적 기반으로 사용하며, 기대값과 분포 동치성과 같은 핵심 확률적 구성요소를 직접적으로 명제에 통합함으로써 통계, 추론 및 머신러닝 분야에서 복잡한 성질에 대한 타당한 검증을 가능하게 한다.

ABSTRACT

Probabilistic programming provides a convenient lingua franca for writing succinct and rigorous descriptions of probabilistic models and inference tasks. Several probabilistic programming languages, including Anglican, Church or Hakaru, derive their expressiveness from a powerful combination of continuous distributions, conditioning, and higher-order functions. Although very important for practical applications, these combined features raise fundamental challenges for program semantics and verification. Several recent works offer promising answers to these challenges, but their primary focus is on semantical issues. In this paper, we take a step further and we develop a set of program logics, named PPV, for proving properties of programs written in an expressive probabilistic higher-order language with continuous distributions and operators for conditioning distributions by real-valued functions. Pleasingly, our program logics retain the comfortable reasoning style of informal proofs thanks to carefully selected axiomatizations of key results from probability theory. The versatility of our logics is illustrated through the formal verification of several intricate examples from statistics, probabilistic inference, and machine learning. We further show the expressiveness of our logics by giving sound embeddings of existing logics. In particular, we do this in a parametric way by showing how the semantics idea of (unary and relational) TT-lifting can be internalized in our logics. The soundness of PPV follows by interpreting programs and assertions in quasi-Borel spaces (QBS), a recently proposed variant of Borel spaces with a good structure for interpreting higher order probabilistic programs.

연구 동기 및 목표

• 연속 분포, 조건화, 일급 함수를 모두 포함하는 고차수 확률적 프로그램을 공식적으로 검증하는 데 도전하는 것.
• 이전 논리들이 이산 분포에 국한되거나 기대값이나 수렴과 같은 확률적 성질을 명제 내에서 직접 표현할 수 없는 한계를 극복하는 것.
• 연속 측도를 갖는 고차수 확률적 프로그램에 대한 단항 및 관계적 검증을 모두 지원하는 통합 프레임워크를 개발하는 것.
• 형식적 확률 이론에 기반한 증명 체계를 통해 통계, 확률적 추론 및 머신러닝 분야의 실제 예제를 실용적으로 검증할 수 있도록 하는 것.
• 예를 들어 $\top\top$-lifting과 연속적인 $(f,\delta)$-lifting과 같은 고급 확률적 구성요소를 타당한 논리적 프레임워크 내에 내장하는 것.

제안 방법

• 일반(연속) 측도를 위한 단항형을 정의하고 조건화 원리를 언어와 논리에 통합하는 것.
• 고차수 확률적 프로그램을 모델링하기 위해 준보렐 공간(QBS)을 의미론적 도메인으로 사용하여, 전체 고차수 함수를 지원하는 카르테시안 닫힘 범주를 제공하는 것.
• PPV 내에서 상호 관련된 세 가지 논리를 설계: 단항 성질(예: 기대값)을 위한 논리, 관계적 성질(예: 분포 동치성)을 위한 논리, 수렴과 근사에 대한 추론을 위한 논리.
• 확률 이론의 핵심 결과들(예: 전체 기대의 법칙, 분포 수렴)을 논리 규칙으로 축약하여 직관적이고 비공식적인 스타일의 추론을 지원하는 것.
• 기존 논리들(예: GRHOL, PrivInfer)의 매개변수화된 통합을 $\top\top$-lifting을 통해 제공하여 PPV의 표현력과 확장 가능성의 가능성을 보여주는 것.
• 프로그램과 명제를 QBS 범주에서 해석함으로써 PPV의 타당성을 확립하여 모든 증명 규칙의 정확성을 보장하는 것.

실험 결과

연구 질문

• RQ1 실용적이고 모듈화된 논리로 연속 분포와 조건화를 포함하는 고차수 확률적 프로그램을 공식적으로 검증할 수 있는 방법은 무엇인가?
• RQ2 기대값, 수렴, 쌍용 등 핵심 확률적 추론 원리를 직접적으로 논리적 명제에 통합할 수 있는가?
• RQ3 표현력 있고 타당한 방식으로 고차수 확률적 프로그램의 단항 및 관계적 검증을 동시에 지원할 수 있는 방법은 무엇인가?
• RQ4 어떤 의미론적 기반을 통해 Aumann의 부정적 결과를 극복하고 고차수 확률 계산을 위한 카르테시안 닫힘 범주를 제공할 수 있는가?
• RQ5 PPV는 GRHOL이나 PrivInfer와 같은 기존의 확률적 프로그램 검증 프레임워크를 원칙적인 방식으로 포함하거나 통합할 수 있는가?

주요 결과

• PPV는 랜덤 변수의 기대값이나 측도의 수열 수렴과 같은 확률적 표현을 명제 내에서 직접적으로 추론할 수 있도록 한다.
• 이 프레임워크는 베이지안 추론과 최적화 작업을 포함한 통계 및 머신러닝 분야의 복잡한 예제에 대한 공식적 검증을 지원한다.
• PPV의 타당성은 준보렐 공간(QBS)에서의 해석을 통해 확립되었으며, 이는 고차수 확률적 프로그램을 위한 잘 다스려진 범주적 모델을 제공한다.
• PPV는 $\top\top$-lifting을 통해 GRHOL과 같은 관계 논리를 통합할 수 있어 표현력과 기존 접근법과의 호환성을 입증한다.
• 이전 시스템들인 PrivInfer나 GRHOL과 달리, PPV는 이산 측도에 국한되지 않고 연속 분포와 조건화를 지원한다.
• PPV는 확률 측도의 동치성과 분포 수렴과 같은 성질을 검증할 수 있으며, 이는 이전의 관계 논리에서는 직접적으로 표현할 수 없는 성질들이다.