[論文レビュー] Constrained Counting and Sampling: Bridging the Gap between Theory and Practice

Kuldeep S. Meel|arXiv (Cornell University)|Jun 6, 2018

Data Management and Algorithms参考文献 93被引用数 13

ひとこと要約

本論文は、普遍ハッシュ法を現代のSAT/SMTソルバと統合することで、制約付きカウントとサンプリングにおける理論的保証と実用的性能のギャップを埋める、新しいハッシュベースのフレームワークを提示する。提案されたツール、ApproxMC2とUniGenは、最大100万変数の論理式までスケーリング可能であり、これは過去のツールと比べて顕著な飛躍である。また、モンテカルロステップを必要としない、最初のDNFに対するFPRASを達成するとともに、MIS（最小独立サポート）技術により分散に注意を払ったハッシュ法を用いて、XOR制約のサイズを2桁減少させた。

ABSTRACT

Constrained counting and sampling are two fundamental problems in Computer Science with numerous applications, including network reliability, privacy, probabilistic reasoning, and constrained-random verification. In constrained counting, the task is to compute the total weight, subject to a given weighting function, of the set of solutions of the given constraints. In constrained sampling, the task is to sample randomly, subject to a given weighting function, from the set of solutions to a set of given constraints. Consequently, constrained counting and sampling have been subject to intense theoretical and empirical investigations over the years. Prior work, however, offered either heuristic techniques with poor guarantees of accuracy or approaches with proven guarantees but poor performance in practice. In this thesis, we introduce a novel hashing-based algorithmic framework for constrained sampling and counting that combines the classical algorithmic technique of universal hashing with the dramatic progress made in combinatorial reasoning tools, in particular, SAT and SMT, over the past two decades. The resulting frameworks for counting (ApproxMC2) and sampling (UniGen) can handle formulas with up to million variables representing a significant boost up from the prior state of the art tools' capability to handle few hundreds of variables. If the initial set of constraints is expressed as Disjunctive Normal Form (DNF), ApproxMC is the only known Fully Polynomial Randomized Approximation Scheme (FPRAS) that does not involve Monte Carlo steps. By exploiting the connection between definability of formulas and variance of the distribution of solutions in a cell defined by 3-universal hash functions, we introduced an algorithmic technique, MIS, that reduced the size of XOR constraints employed in the underlying universal hash functions by as much as two orders of magnitude.

研究の動機と目的

• 理論的に妥当ではあるが実用的でない制約付きカウントとサンプリングのアルゴリズムと、保証が弱いヒューリスティック手法との間の長年のギャップを解消すること。
• 確率的推論やインfra構造の信頼性など、大規模な実世界問題におけるスケーラブルで正確かつ効率的なカウントとサンプリングを可能にすること。
• 理論的アルゴリズムの正確さと、現代のSAT/SMTソルバの性能を組み合わせたフレームワークの開発。
• 解の分布の分散に着目した新規のバリアンス認識技術（MIS）を用いて、普遍ハッシュ法におけるXOR制約のサイズを最小化し、正確さを損なわずに効率を向上させること。
• 電力網の信頼性やAI検証を含む実世界の応用において、このフレームワークの有効性を実証すること。

提案手法

• 普遍ハッシュ法を活用し、制約付きカウントとサンプリングを、理論的保証をもつ確率的近似によって実現するSAT/SMTクエリの系列に変換する。
• 3-ユニバーサルハッシュ法を用い、反復的なSATクエリを通じて解の数を高信頼性で推定するスケーラブルな近似モデルカウンタ、ApproxMC2を導入する。
• 同じハッシュ構造を用いて、近似的に一様な分布を持つ解を生成する、均一サンプリングフレームワークであるUniGenを開発する。
• 解の分布の分散を活用して、ハッシュ処理におけるXOR制約の数を最小化するMIS（Minimal Independent Support）技術を提案する。
• 再帰的削減戦略を採用し、冗長な変数を動的に同定・削除することで、制約系のサイズを縮小する。
• SATソルバと確率的ハッシュ法を組み合わせたハイブリッドアプローチを採用し、モンテカルロ手法を必要としないFPRASをDNF論理式に実現する。

実験結果

リサーチクエスチョン

• RQ1 ハッシュベースのフレームワークは、制約付きカウントとサンプリングにおいて、理論的保証と実用的スケーラビリティの両方を達成できるか？
• RQ2 正確さや一様性を損なわずに、普遍ハッシュ法におけるXOR制約のサイズをどのように最小化できるか？
• RQ3 SAT/SMTソルバは、数百万変数の論理式にまでスケーリング可能な制約付きカウントとサンプリングをどの程度活用できるか？
• RQ4 このフレームワークは、モンテカルロ手法に依存せずにDNF論理式に対してFPRASを提供できるか？
• RQ5 MIS技術は、ハッシュベースのカウントとサンプリングにおける計算コストをどの程度低減できるか？

主な発見

• ApproxMC2は、モンテカルロステップを必要とせず、最初のDNFに対するFPRASを達成し、理論的正確性の保証を提供するとともに、最大100万変数の論理式までスケーリング可能である。
• MIS技術により、ハッシュ処理におけるXOR制約の数を最大2桁減少させ、性能向上を顕著に実現した。
• UniGenとApproxMC2は、78,650変数（例：blockmap 20 01.net）の論理式までスケーリング可能であり、過去のツールが数100変数に制限されていたのと比べて顕著な向上を示した。
• フレームワークは高い並列性を示し、AIや検証ワークロードにおける高性能コンputィングリソースの効率的利用を可能にした。
• 電力網の信頼性や確率的推論といった実世界の応用において、従来の手法が失敗した問題に対しても、正確でスケーラブルかつ効率的な解決策を提供した。
• s5378a 15 7のようなベンチマークでは、ApproxMC2が2,000秒未満で解の数を計算したのに対し、過去のツールは18,000秒でも完了できなかった。