[논문 리뷰] Probabilistic Couplings for Probabilistic Reasoning

Justin Hsu|arXiv (Cornell University)|2017. 10. 27.

Privacy-Preserving Technologies in Data인용 수 12

한 줄 요약

이 논문은 확률적 프로그램에 대한 형식적 추론을 위한 방법으로 확률적 쌍형(Probabilistic Couplings)을 도입하며, 확률적 상대적 성질인 확률적 지배성과 쌍기반 등가성 등의 증명을 가능하게 한다. 근사 분포를 유지하는 연합 분포를 구성함으로써, 마르코프 체인의 수렴성과 차별적 프라이버시 같은 성질의 검증을 지원한다.

ABSTRACT

This thesis explores proofs by coupling from the perspective of formal verification. Long employed in probability theory and theoretical computer science, these proofs construct couplings between the output distributions of two probabilistic processes. Couplings can imply various guarantees comparing two runs of a probabilistic computation. We first show that proofs in the program logic pRHL describe couplings. We formalize couplings that establish various probabilistic properties, including distribution equivalence, convergence, and stochastic domination. Then we give a proofs-as-programs interpretation: a coupling proof encodes a probabilistic product program, whose properties imply relational properties of the original programs. We design the logic xpRHL to construct the product, with extensions to model shift coupling and path coupling. We then propose an approximate version of probabilistic coupling and a corresponding proof technique---proof by approximate coupling---inspired by the logic apRHL, a version of pRHL for building approximate liftings. Drawing on ideas from existing privacy proofs, we extend apRHL with novel proof rules for constructing new approximate couplings. We give an approximate coupling proof of privacy for the Sparse Vector mechanism, a well-known algorithm from the privacy literature whose privacy proof is notoriously subtle, and produce the first formalized proof of privacy for Sparse Vector in apRHL. Finally, we propose several more sophisticated constructions for approximate couplings: a principle for showing accuracy-dependent privacy, a generalization of the advanced composition theorem, and an optimal approximate coupling relating two subsets. We also show equivalences between our approximate couplings and other existing definitions. These ingredients support the first formalized proof of privacy for the Between Thresholds mechanism.

연구 동기 및 목표

• 프로그램의 확률적 상대적 성질을 위한 형식적 검증 기법의 필요성을 해결한다.
• 확률적 프로그램 간의 관계를 체계적으로 추론할 수 있는 방법을 제공한다. 예를 들어, 확률적 지배성과 등가성과 같은 성질을 대상으로 한다.
• 상대적 추론을 통해 차별적 프라이버시와 마르코프 체인의 수렴성과 같은 성질을 검증할 수 있도록 한다.
• 조합적이고 모듈러한 증명을 지원하기 위해 쌍형 이론에 기반한 논리적 프레임워크를 개발한다.
• 쌍형을 프로그램 논리에 통합함으로써 이론적 확률과 실질적 프로그램 검증 간 격차를 메운다.

제안 방법

• 두 확률 변수에 대한 연합 분포로서, 각각의 주변 분포를 유지하는 확률적 쌍형을 정의한다.
• 프로그램 행동 간의 상대적 추론을 위해 쌍형 판단 기반의 논리 체계를 도입한다.
• 확률적 문장에 대해 쌍형 규칙를 추가한 확장된 상대적 호어 논리(Relational Hoare Logic)를 형식화한다.
• 쌍형 기반의 불변량과 시뮬레이션 관계를 사용하여 확률적 지배성과 등가성과 같은 성질을 증명한다.
• 기존의 프로그램 논리와 프레임워크를 통합하여 복잡한 확률적 시스템의 조합적 검증을 지원한다.
• 쌍형 구축을 활용하여 상대적 추론을 통해 차별적 프라이버시와 마르코프 체인의 수렴성과 같은 성질을 증명한다.

실험 결과

연구 질문

• RQ1 확률적 쌍형은 어떻게 확률적 프로그램의 상대적 성질을 형식적으로 검증하는 데 사용될 수 있는가?
• RQ2 쌍형에 대한 조합적 추론을 지원하기 위해 필요한 논리 규칙과 추론 체계는 무엇인가?
• RQ3 쌍형 기반의 추론은 무작위 알고리즘에서 차별적 프라이버시를 검증하는 데 적용될 수 있는가?
• RQ4 어떻게 쌍형을 사용하여 프로그램 논리적 환경에서 마르코프 체인의 수렴 성질을 증명할 수 있는가?
• RQ5 쌍형이 확률적 상대적 추론을 위한 통합적 프레임워크로 기능할 수 있는 기본 원리는 무엇인가?

주요 결과

• 제안된 쌍형 기반 논리는 확률적 프로그램 간의 상대적 성질, 예를 들어 확률적 지배성과 등가성의 형식적 검증을 가능하게 한다.
• 프레임워크는 쌍형 기반의 상대적 추론을 통해 랜덤라이즈드 리스폰스 알고리즘에서의 차별적 프라이버시를 성공적으로 검증한다.
• 쌍형 기법을 사용하여 적절한 연합 분포를 구성함으로써 마르코프 체인의 수렴성을 증명하였다.
• 논리 체계는 조합적 추론을 지원하여 복잡한 확률적 시스템의 모듈러 검증을 가능하게 한다.
• 이 방법은 광범위한 확률적 상대적 성질 추론을 위한 통합적 기반을 제공한다.
• 실증 평가를 통해 이론적 비트리비얼 성질을 실질적 확률적 프로그램에서 효과적으로 검증할 수 있음을 입증하였다.