[論文レビュー] Approximate Model Counting: Is SAT Oracle More Powerful Than NP Oracle?

Chakraborty, Diptarka, Chakraborty, Sourav+2 more|arXiv (Cornell University)|Jan 1, 2023

SARS-CoV-2 detection and testing被引用数 3

ひとこと要約

本稿は、統計的推定におけるアルゴリズムに依存しない不可能性結果を確立するためのファーノの不等式およびその変種について包括的なサーベイを提供している。ファーノの不等式に加え、相互情報量の上限と還元技術を組み合わせることで、離散的および連続的設定の両方においてタイトなミニマックス下界を確立できることを示している。具体的には、グループテスト、グラフィカルモデルの選択、スパース回帰、密度推定、凸最適化の問題を含む多様な設定で有効である。

ABSTRACT

Given a Boolean formula ϕ over n variables, the problem of model counting is to compute the number of solutions of ϕ. Model counting is a fundamental problem in computer science with wide-ranging applications in domains such as quantified information leakage, probabilistic reasoning, network reliability, neural network verification, and more. Owing to the #P-hardness of the problems, Stockmeyer initiated the study of the complexity of approximate counting. Stockmeyer showed that log n calls to an NP oracle are necessary and sufficient to achieve (ε,δ) guarantees. The hashing-based framework proposed by Stockmeyer has been very influential in designing practical counters over the past decade, wherein the SAT solver substitutes the NP oracle calls in practice. It is well known that an NP oracle does not fully capture the behavior of SAT solvers, as SAT solvers are also designed to provide satisfying assignments when a formula is satisfiable, without additional overhead. Accordingly, the notion of SAT oracle has been proposed to capture the behavior of SAT solver wherein given a Boolean formula, an SAT oracle returns a satisfying assignment if the formula is satisfiable or returns unsatisfiable otherwise. Since the practical state-of-the-art approximate counting techniques use SAT solvers, a natural question is whether an SAT oracle is more powerful than an NP oracle in the context of approximate model counting. The primary contribution of this work is to study the relative power of the NP oracle and SAT oracle in the context of approximate model counting. The previous techniques proposed in the context of an NP oracle are weak to provide strong bounds in the context of SAT oracle since, in contrast to an NP oracle that provides only one bit of information, a SAT oracle can provide n bits of information. We therefore develop a new methodology to achieve the main result: a SAT oracle is no more powerful than an NP oracle in the context of approximate model counting.

研究の動機と目的

• ファーノの不等式を用いた統計的推定におけるアルゴリズムに依存しない不可能性結果を導くための統一的枠組みの構築。
• 正確なパラメータ同定ではなく、近似回復の設定にまで拡張されたファーノの不等式の拡張により、許容可能な精度要件のもとでの下界を導出可能にする。
• 被覆論法による離散的仮説検定への還元を通じて、離散的および連続的推定問題を統合的に扱う。
• 高次元的・ノイズありの設定を含む多様な統計的問題において、ファーノの不等式の有効性を示す。
• 情報理論的ツールを用いて、スパース線形回帰、密度推定、凸最適化といった代表的な問題のミニマックス下界を確立する。

提案手法

• 還元フレームワークを用いて統計的推定問題を複数の仮説検定問題に還元する。
• ファーノの不等式を適用し、仮説検定における誤差確率を、パラメータと観測値の間の相互情報量と関連付ける。
• データ処理不等式およびテンソル化を用いて、高次元的またはi.i.d.な設定における相互情報量を上限付ける。
• KL発散度に基づく相互情報量の上限を用いて、ノイズありまたはパラメトリックなモデルを分析する。
• 連続的パrameter空間に対して局所ミニマックスアプローチを適用する際、被覆論法による離散化を用いる。
• 距離閾値を導入することで、ファーノの不等式を近似回復に適応させ、有界な推定誤差を許容する設定での下界を導出可能にする。

実験結果

リサーチクエスチョン

• RQ1 ファーノの不等式は、正確なパrameter同一定ではなく、近似回復の設定にどのように拡張可能か？
• RQ2 高次元的統計的モデルにおいて、ファーノの不等式がタイトなミニマックス下界を与えるために必要な最小限の条件は何か？
• RQ3 連続的推定問題が、不可能性分析のための離散的仮説検定にどの程度まで還元可能か？
• RQ4 データ処理およびテンソル化による相互情報量の上限は、ファーノに基づく下界のタイトさをどのように向上させるか？
• RQ5 スパース回帰や凸最適化といった設定では、ファーノの不等式が非漸近的かつ情報理論的に最適な下界をどのように導出可能か？

主な発見

• 近似回復を伴うファーノの不等式は、与えられた距離内に存在するパラメータの最大集合のサイズの対数を含む下界を導出し、緩い推定設定においても有効である。
• 非適応的設計におけるグループテストでは、正確な回復に関して、下界が k log(p/k) のオーダーで得られ、既知の達成可能性結果と一致する。
• スパース線形回帰では、サブガウスノイズのもとで、p次元空間内のsスパースベクトルに対して、ミニマックスリスクが s log(p/s) のオーダー以上であることが示された。
• ホルダークラス上での密度推定では、ミニマックスリスクが滑らかさと次元に依存するレートで下から抑えられ、既知の非漸近的結果と整合的である。
• ノイズありオракルアクセスを伴う凸最適化では、ϵ-最適性を達成するためのクエリ回数に下界を確立し、M個の候補関数に対しては Ω(log M) 回のクエリが必要であることを示した。
• 還元フレームワークにより、連続的ミニマックス推定問題を離散的仮説検定に変換でき、多くの場合において定数倍の意味でタイトな下界が得られる。