[논문 리뷰] Proving Expected Sensitivity of Probabilistic Programs

Gilles Barthe, Thomas Espitau외 3명|arXiv (Cornell University)|2017. 08. 08.

Bayesian Modeling and Causal Inference인용 수 11

한 줄 요약

이 논문은 기대 f-민감도를 도입하여 확률적 프로그램의 평균적 행동을 공식적으로 검증하기 위해 기대 쌍형을 사용하는 프로그램 민감도의 일반화를 제안한다. 이는 알고리즘적 안정성 및 마르코프 체인의 빠른 혼합성과 같은 성질에 대해 구성적 추론을 지원하는 관계형 프로그램 논리 eRHL을 제시한다.

ABSTRACT

Program sensitivity, also known as Lipschitz continuity, describes how small changes in a program's input lead to bounded changes in the output. We propose an average notion of program sensitivity for probabilistic programs---expected sensitivity---that averages a distance function over a probabilistic coupling of two output distributions from two similar inputs. By varying the distance, expected sensitivity recovers useful notions of probabilistic function sensitivity, including stability of machine learning algorithms and convergence of Markov chains. Furthermore, expected sensitivity satisfies clean compositional properties and is amenable to formal verification. We develop a relational program logic called $\mathbb{E}$pRHL for proving expected sensitivity properties. Our logic features two key ideas. First, relational pre-conditions and post-conditions are expressed using distances, a real-valued generalization of typical boolean-valued (relational) assertions. Second, judgments are interpreted in terms of expectation coupling, a novel, quantitative generalization of probabilistic couplings which supports compositional reasoning. We demonstrate our logic on examples beyond the reach of prior relational logics. Our main example formalizes uniform stability of the stochastic gradient method. Furthermore, we prove rapid mixing for a probabilistic model of population dynamics. We also extend our logic with a transitivity principle for expectation couplings to capture the path coupling proof technique by Bubley and Dyer, and formalize rapid mixing of the Glauber dynamics from statistical physics.

연구 동기 및 목표

• 확률적 출력을 다룰 수 있도록 고전적 민감도를 일반화하여 확률적 프로그램의 평균적 행동에 대해 공식화하는 것.
• 이전의 관계형 논리들이 기대값과 확률적 성질의 구성적 검증에 대해 제한을 가진 문제를 해결하는 것.
• 수량적 관계형 추론을 사용하여 수렴, 안정성, 혼합성 등의 성질을 검증할 수 있도록 프로그램 논리를 개발하는 것.
• 스토케스틱 그래디언트 방법의 균일 안정성과 인구 역학에서의 빠른 혼합성과 같은 복잡한 성질에 대한 구성적 검증을 가능하게 하는 것.
• 통계 물리학에서의 경로 쌍형 기법과 같은 고급 증명 기법을 확률적 검증을 위한 공식 논리 프레임워크 내부에 내재화하는 것.

제안 방법

• 유사한 입력에서의 출력 간 거리의 기대값이 입력 거리의 함수 f로 유계임을 보장하는 기대 f-민감도를 제안한다.
• 기대 쌍형을 확률적 쌍형의 수량적 일반화로 도입하여 거리의 기대값에 대한 추론을 가능하게 한다.
• 사전 및 사후 조건이 부울 진술이 아니라 실수값 거리로 표현되는 관계형 프로그램 논리 eRHL을 설계한다.
• 기대 쌍형에 기반한 새로운 판단 의미론을 활용하여 관계형 기대값의 구성적 검증을 지원한다.
• 기대 쌍형을 위한 전건 원리를 도입하여 통계 물리학에서의 경로 쌍형 기법을 공식화한다.
• 스토케스틱 그래디언트 하강법의 균일 안정성과 Glauber 동역학의 빠른 혼합성과 같은 비트레이비어 성질을 검증하기 위해 논리를 적용한다.

실험 결과

연구 질문

• RQ1 고전적 프로그램 민감도는 어떻게 확률적 프로그램으로 일반화되어 평균적 출력 행동에 대해 추론할 수 있는가?
• RQ2 확률적 프로그램에서 기대값 기반의 관계형 성질에 대해 구성적 검증을 지원하는 논리적 프레임워크는 무엇인가?
• RQ3 경로 쌍형과 같은 고급 증명 기법은 공식 프로그램 논리 내부에 내재화될 수 있는가?
• RQ4 기대 쌍형은 마르코프 체인과 기계 학습 알고리즘과 같은 확률적 시스템에서 수렴성과 안정성을 검증하는 데 어떻게 활용될 수 있는가?
• RQ5 부울 진술 대비 실수값 거리를 관계형 프로그램 논리에서 사용할 경우의 기초적이고 실용적인 이점은 무엇인가?

주요 결과

• 기대 f-민감도는 기계 학습에서 알고리즘적 안정성을 포괄하며, 모델 출력 간 기대 차이가 입력 거리의 함수로 유계임을 보여준다.
• eRHL 논리는 이전의 관계형 논리가 다룰 수 없었던 스트로케스틱 그래디언트 방법의 균일 안정성을 성공적으로 검증한다.
• 경로 쌍형 기법은 eRHL 내의 규칙으로 공식화되어 통계 물리학에서 Glauber 동역학의 빠른 혼합성을 직접 검증할 수 있게 한다.
• 기대 쌍형은 깔끔한 구성적 추론을 지원하여 복잡한 확률적 성질의 모듈식 검증을 가능하게 한다.
• 관계형 기대값과 고급 증명 원리를 내재화함으로써 이전의 접근 방식인 apRHL과 제품 프로그램 분석보다 일반화되고 향상된 프레임워크를 제공한다.
• 이 방법은 인구 역학과 마르코프 체인의 확률 모델에서 수렴성과 민감도의 형식적 검증을 가능하게 한다.