[논문 리뷰] On the Complexity of Constrained Determinantal Point Processes

L. Elisa Celis, Amit Deshpande외 3명|arXiv (Cornell University)|2016. 08. 01.

Point processes and geometric inequalities인용 수 6

한 줄 요약

이 논문은 제약 조건이 있는 결정성 점 과정(DPPs)에서의 샘플링 복잡도를 해결하며, 제약 조건이 1진수 표현(예: 작은 예산 또는 분할 제약)으로 기술될 경우 효율적인 샘플링이 가능하다는 것을 증명한다. 반면 이중 표현으로 제약 조건이 기술될 경우 문제는 #P-난이도임을 보여준다. 혼합 판별식과 분할 제약이 있는 DPPs 사이의 등가성을 확립함으로써, 기능적 매트로이드 기저 다면체와 혼합 특성 다항식에 대한 새로운 알고리즘을 개발할 수 있게 되었다.

ABSTRACT

Determinantal Point Processes (DPPs) are probabilistic models that arise in quantum physics and random matrix theory and have recently found numerous applications in computer science. DPPs define distributions over subsets of a given ground set, they exhibit interesting properties such as negative correlation, and, unlike other models, have efficient algorithms for sampling. When applied to kernel methods in machine learning, DPPs favor subsets of the given data with more diverse features. However, many real-world applications require efficient algorithms to sample from DPPs with additional constraints on the subset, e.g., partition or matroid constraints that are important to ensure priors, resource or fairness constraints on the sampled subset. Whether one can efficiently sample from DPPs in such constrained settings is an important problem that was first raised in a survey of DPPs by \cite{KuleszaTaskar12} and studied in some recent works in the machine learning literature. The main contribution of our paper is the first resolution of the complexity of sampling from DPPs with constraints. We give exact efficient algorithms for sampling from constrained DPPs when their description is in unary. Furthermore, we prove that when the constraints are specified in binary, this problem is #P-hard via a reduction from the problem of computing mixed discriminants implying that it may be unlikely that there is an FPRAS. Our results benefit from viewing the constrained sampling problem via the lens of polynomials. Consequently, we obtain a few algorithms of independent interest: 1) to count over the base polytope of regular matroids when there are additional (succinct) budget constraints and, 2) to evaluate and compute the mixed characteristic polynomials, that played a central role in the resolution of the Kadison-Singer problem, for certain special cases.

연구 동기 및 목표

• 조합적 제약 조건(예: 분할, 배낭, 예산 제약 등)이 있는 결정성 점 과정(DPPs)에서의 샘플링 계산 복잡도를 해결하는 것.
• 특히 공정성, 자원 제한 또는 기계 학습에서의 사전 제약 조건의 맥락에서 제약 조건이 있는 DPPs에 대한 효율적인 샘플링 알고리즘이 존재하는지 여부를 규명하는 것.
• 제약 조건이 있는 DPP 샘플링과 혼합 판별식 계산 사이의 공식적 연결 고리를 수립하는 것. 이는 수학에서 알려진 난이도 높은 문제이다.
• 추가 예산 제약 조건 하에서 정규 매트로이드의 기저 다면체에 대한 수량 세기, 샘플링 및 최적화를 위한 새로운 알고리즘을 개발하는 것.
• 카디손-신이 문제와 관련된 특수 케이스에서 혼합 특성 다항식의 평가 및 계산을 위한 효율적인 방법을 제공하는 것.

제안 방법

• 저자들은 분할 제약이 있는 DPP에서의 샘플링과 혼합 판별식 계산 사이의 등가성을 확립하며, DPP 생성 함수의 다항식 표현을 활용한다.
• 모서리 확률 $p_e = \mathbb{P}(e \notin \mathbf{S} \mid \mathbf{S} \subseteq U)$ 를 추가 오차 $\delta$ 이내로 추정하기 위해 $\mu$-샘플링 오라클을 사용하는 재귀적 샘플링 전략을 사용한다. 이는 $\mathrm{poly}(m)/\delta^2$개의 샘플을 사용한다.
• 각 단계에서 높은 모서리 포함 비율이 아닌 확률 $p_e \geq 1/m^2$ 인 요소 $e$ 를 식별함으로써 진행을 보장하는 재귀적 자르기 과정을 적용한다.
• 반복적 샘플링을 통해 $p_e$ 를 $(1+\varepsilon/m)$-근사로 유지하며, 체비셰프 부등식을 통해 농도 경계를 유지한다.
• 조건부 샘플링을 가능하게 하기 위해 생성 다항식 $g_\mu$ 를 수정하며, 부분집합 $U$ 외부의 계수를 0으로 설정한다.
• 최종 추정치 $X$ 는 근사된 모서리 확률과 나머지 집합의 측도 $\mu(U')$ 의 곱으로 구성되며, 오차 경계는 곱근사 요소로부터 유도된다.

실험 결과

연구 질문

• RQ1 분할 또는 예산 제약 조건이 있는 DPP에서의 효율적 샘플링이 가능한가?
• RQ2 제약 조건이 1진수 표현과 이중 표현으로 기술될 경우, 제약 조건이 있는 DPP에서의 샘플링 복잡도는 어떻게 되는가?
• RQ3 혼합 판별식 계산 문제는 분할 제약이 있는 DPP에서의 샘플링 문제로 환원될 수 있는가?
• RQ4 추가 예산 제약 조건 하에서 정규 매트로이드의 기저 다면체에 대한 수량 세기 및 샘플링 알고리즘을 효율적으로 개발할 수 있는가?
• RQ5 제안된 프레임워크를 사용하여 특수 케이스에서 혼합 특성 다항식을 효율적으로 평가할 수 있는가?

주요 결과

• 제약 조건이 1진수 표현으로 기술될 경우, 특히 작은 예산 또는 작은 분할 제약 조건이 있는 DPP에서의 샘플링은 다항식 시간 내에 가능하다.
• 제약 조건이 이중 표현으로 기술될 경우, 혼합 판별식 계산 문제로의 환원을 통해 문제의 #P-난이도가 증명된다.
• 이중 인코딩된 제약 조건에 대한 FPRAS가 존재할 가능성은 낮으며, 이는 #P-난이도 문제인 혼합 판별식 문제의 해법을 암시하기 때문이다.
• 추가 예산 제약 조건 하에서 정규 매트로이드의 기저 다면체에 대한 수량 세기, 샘플링 및 최적화를 위한 효율적인 알고리즘을 개발하였다.
• 카디손-신이 문제와 관련된 특수 케이스에서 혼합 특성 다항식의 평가 및 계산을 위한 새로운 방법을 제공하였다.
• 알고리즘은 $\mathrm{poly}(m, 1/\varepsilon)$개의 샘플을 사용하여 목표 합계에 대해 곱근사 $(1+2\varepsilon)$-근사치를 높은 확률로 달성한다.