[論文レビュー] On the Complexity of Constrained Determinantal Point Processes

L. Elisa Celis, Amit Deshpande+3 more|arXiv (Cornell University)|Aug 1, 2016

Point processes and geometric inequalities被引用数 6

ひとこと要約

この論文は、制約付きデターミナント点過程（DPP）からのサンプリングの複雑さを解消し、制約がユニナリ表現（例えば、小さな予算や分割制約）で記述される場合に、効率的なサンプリングが可能であることを証明している。一方、二進表現での制約では問題が#P困難であることを示している。また、混合判別式と分割制約付きDPPの間の同値性を確立し、マトロイド基底ポリトープや混合特徴多項式に対する新しいアルゴリズムの開発を可能にした。

ABSTRACT

Determinantal Point Processes (DPPs) are probabilistic models that arise in quantum physics and random matrix theory and have recently found numerous applications in computer science. DPPs define distributions over subsets of a given ground set, they exhibit interesting properties such as negative correlation, and, unlike other models, have efficient algorithms for sampling. When applied to kernel methods in machine learning, DPPs favor subsets of the given data with more diverse features. However, many real-world applications require efficient algorithms to sample from DPPs with additional constraints on the subset, e.g., partition or matroid constraints that are important to ensure priors, resource or fairness constraints on the sampled subset. Whether one can efficiently sample from DPPs in such constrained settings is an important problem that was first raised in a survey of DPPs by \cite{KuleszaTaskar12} and studied in some recent works in the machine learning literature. The main contribution of our paper is the first resolution of the complexity of sampling from DPPs with constraints. We give exact efficient algorithms for sampling from constrained DPPs when their description is in unary. Furthermore, we prove that when the constraints are specified in binary, this problem is #P-hard via a reduction from the problem of computing mixed discriminants implying that it may be unlikely that there is an FPRAS. Our results benefit from viewing the constrained sampling problem via the lens of polynomials. Consequently, we obtain a few algorithms of independent interest: 1) to count over the base polytope of regular matroids when there are additional (succinct) budget constraints and, 2) to evaluate and compute the mixed characteristic polynomials, that played a central role in the resolution of the Kadison-Singer problem, for certain special cases.

研究の動機と目的

• 組合せ的制約（例えば、分割、ナップサック、または予算制約）を伴うデターミナント点過程（DPP）からのサンプリングの計算複雑性を解明すること。
• 機械学習における公平性、リソース制限、または事前制約の文脈において、制約付きDPPからの効率的サンプリングアルゴリズムが存在するかどうかを特定すること。
• 制約付きDPPサンプリングと、数学的に難易度の高い既知の問題である混合判別式の計算との間の明確な関係を確立すること。
• 追加の予算制約下での正則マトロイドの基底ポリトープに関する、数え上げ、サンプリング、最適化のための新しいアルゴリズムを開発すること。
• カジソン＝シーゲル問題に関連する特殊な場合において、混合特徴多項式の評価と計算を効率的に行うための方法を提供すること。

提案手法

• 著者らは、分割制約付きDPPからのサンプリングと混合判別式の計算との間の同値性を、DPP生成関数の多項式表現を活用して確立した。
• 彼らは、$\mu$-サンプリングオракルを用いた再帰的サンプリング戦略を採用し、$\mathrm{poly}(m)/\delta^2$ 個のサンプルで、$p_e = \mathbb{P}(e \notin \mathbf{S} \mid \mathbf{S} \subseteq U)$ のマージナル確率を加法誤差 $\delta$ 以内で推定した。
• アルゴリズムは、各ステップで進捗を確保するため、$p_e \geq 1/m^2$ を満たす要素 $e$ を特定する再帰的プリーニング処理を用いた。
• 繰り返しサンプリングにより、$p_e$ の乗法的 $(1+\varepsilon/m)$-近似を実現し、チェビシェフの不等式を用いて濃度境界を維持した。
• 条件付きサンプリングを可能にするために、生成多項式 $g_\mu$ を、部分集合 $U$ の外側では係数をゼロに設定することで変更した。
• 最終的な推定値 $X$ は、近似されたマージナル確率と残りの集合の測度 $\mu(U')$ の積として構築され、乗法的近似要因から誤差境界が導出された。

実験結果

リサーチクエスチョン

• RQ1 分割または予算制約などの組合せ的制約の下で、DPPからの効率的サンプリングは可能か？
• RQ2 制約がユニナリ表現と二進表現で記述される場合に、制約付きDPPからのサンプリングの計算複雑度はそれぞれどのように異なるか？
• RQ3 混合判別式の計算問題は、分割制約付きDPPからのサンプリングに還元可能か？
• RQ4 追加の予算制約下で、正則マトロイドの基底ポリトープに対する数え上げとサンプリングのための効率的アルゴリズムを開発可能か？
• RQ5 提案された枠組みを用いて、特殊な場合における混合特徴多項式を効率的に評価・計算できるか？

主な発見

• 制約がユニナリ表現で記述される場合、特に小さな予算や小さな分割制約の場合、制約付きDPPからのサンプリングは多項式時間で可能である。
• 制約が二進表現で記述される場合、混合判別式の計算への還元により、問題が#P困難であることが証明された。
• 二進符号化された制約に対しては、FPRASの存在はほとんどありえない。なぜなら、これにより#P困難な混合判別式問題が解けることになるからである。
• 追加の予算制約下での正則マトロイドの基底ポリトープに関する、数え上げ、サンプリング、最適化のための効率的アルゴリズムが開発された。
• カジソン＝シーゲル問題の解決に関連する特殊な場合において、混合特徴多項式を評価・計算するための新しい手法が提供された。
• アルゴリズムは、$\mathrm{poly}(m, 1/\varepsilon)$ 個のサンプルを用いて、高確率で目標和の乗法的 $(1+2\varepsilon)$-近似を達成した。