[論文レビュー] Probabilistic Couplings for Probabilistic Reasoning

Justin Hsu|arXiv (Cornell University)|Oct 27, 2017

Privacy-Preserving Technologies in Data被引用数 12

ひとこと要約

この論文は、確率的プログラムのための形式的手法として確率的カップリングを導入し、stochastic dominance やカップリングに基づく同等性などの確率的関係的性質の証明を可能にする。マージナル動作を保持する連合分布を構築することにより、微分プライバシー やマルコフ連鎖の収束といった性質の検証が可能となる。

ABSTRACT

This thesis explores proofs by coupling from the perspective of formal verification. Long employed in probability theory and theoretical computer science, these proofs construct couplings between the output distributions of two probabilistic processes. Couplings can imply various guarantees comparing two runs of a probabilistic computation. We first show that proofs in the program logic pRHL describe couplings. We formalize couplings that establish various probabilistic properties, including distribution equivalence, convergence, and stochastic domination. Then we give a proofs-as-programs interpretation: a coupling proof encodes a probabilistic product program, whose properties imply relational properties of the original programs. We design the logic xpRHL to construct the product, with extensions to model shift coupling and path coupling. We then propose an approximate version of probabilistic coupling and a corresponding proof technique---proof by approximate coupling---inspired by the logic apRHL, a version of pRHL for building approximate liftings. Drawing on ideas from existing privacy proofs, we extend apRHL with novel proof rules for constructing new approximate couplings. We give an approximate coupling proof of privacy for the Sparse Vector mechanism, a well-known algorithm from the privacy literature whose privacy proof is notoriously subtle, and produce the first formalized proof of privacy for Sparse Vector in apRHL. Finally, we propose several more sophisticated constructions for approximate couplings: a principle for showing accuracy-dependent privacy, a generalization of the advanced composition theorem, and an optimal approximate coupling relating two subsets. We also show equivalences between our approximate couplings and other existing definitions. These ingredients support the first formalized proof of privacy for the Between Thresholds mechanism.

研究の動機と目的

• プログラムにおける確率的関係的性質に特化した形式的検証手法の必要性に対処する。
• stochastic dominance や同等性といった、確率的プログラム間の関係を体系的に扱う方法を提供する。
• 関係的推論を用いて、微分プライバシー やマルコフ連鎖の収束といった性質の検証を可能にする。
• 合成的かつモジュラーな証明を支援するカップリング理論に基づく論理的枠組みを構築する。
• カップリングをプログラム論理に統合することで、理論的確率と実用的プログラム検証のギャップを埋める。

提案手法

• 2つの確率的変数の連合分布として確率的カップリングを定義し、それらの周辺分布を保持する。
• プログラム動作の関係的推論に使用可能なカップリング判断に基づく論理的体系を導入する。
• 確率的文にカップリングルールを拡張した関係的ホア論理を形式化する。
• カップリングに基づく不変条件とシミュレーション関係を用いて、stochastic dominance や同等性などの性質を証明する。
• 既存のプログラム論理と統合し、確率的プログラムの合成的検証を支援するフレームワークを構築する。
• カップリング構成を活用して、関係的推論により微分プライバシー やマルコフ連鎖の収束といった性質を証明する。

実験結果

リサーチクエスチョン

• RQ1 確率的カップリングは、確率的プログラムの関係的性質を形式的に検証するためにどのように利用できるか？
• RQ2 カップリングに関する合成的推論を支援するための論理的ルールと推論システムは何か？
• RQ3 カップリングに基づく推論は、確率的アルゴリズムにおける微分プライバシーの検証に適用可能か？
• RQ4 プログラム論理的枠組みにおいて、カップリングはマルコフ連鎖の収束性質をどのように証明するために利用できるか？
• RQ5 カップリングが確率的関係的推論の包括的枠組みとして機能できる基礎的原則は何か？

主な発見

• 提示されたカップリングに基づく論理は、stochastic dominance や確率的プログラム間の同等性といった関係的性質の形式的検証を可能にする。
• フレームワークは、カップリングに基づく関係的推論を用いて、ランダム化応答アルゴリズムにおける微分プライバシーを成功裏に検証した。
• カップリング技術を用いて、適切な連合分布を構築することで、マルコフ連鎖の収束性を証明した。
• 論理的体系は合成的推論をサポートし、複雑な確率的システムのモジュラー検証を可能にする。
• 本アプローチは、広範な確率的関係的性質の推論の包括的基盤を提供する。
• 実験的評価により、本手法が実用的確率的プログラムにおける非自明な性質の検証に有効であることが示された。