[논문 리뷰] The Bethe and Sinkhorn Permanents of Low Rank Matrices and Implications for Profile Maximum Likelihood

Nima Anari, Moses Charikar외 2명|arXiv (Cornell University)|2020. 04. 06.

Markov Chains and Monte Carlo Methods참고 문헌 43인용 수 5

한 줄 요약

이 논문은 낮은 랭크 행렬의 Bethe 및 Sinkhorn 행렬식을 사용하여 이산 분포의 프로파일 최대우도(PML)를 다항시간 알고리즘으로 근사하는 방법을 제시한다. 이는 기존의 exp(−O(n^{2/3} log n)) 보다 향상된 exp(−O(√n log n))의 근사 요인을 달성하기 위해, 비음수 행렬의 행렬식에 대한 더 엄밀한 경계를 확립하고, 바르데모네 구조를 통해 PML 계산과 연결함으로써 달성된다.

ABSTRACT

In this paper we consider the problem of computing the likelihood of the profile of a discrete distribution, i.e., the probability of observing the multiset of element frequencies, and computing a profile maximum likelihood (PML) distribution, i.e., a distribution with the maximum profile likelihood. For each problem we provide polynomial time algorithms that given $n$ i.i.d.\ samples from a discrete distribution, achieve an approximation factor of $\exp\left(-O(\sqrt{n} \log n) ight)$, improving upon the previous best-known bound achievable in polynomial time of $\exp(-O(n^{2/3} \log n))$ (Charikar, Shiragur and Sidford, 2019). Through the work of Acharya, Das, Orlitsky and Suresh (2016), this implies a polynomial time universal estimator for symmetric properties of discrete distributions in a broader range of error parameter. We achieve these results by providing new bounds on the quality of approximation of the Bethe and Sinkhorn permanents (Vontobel, 2012 and 2014). We show that each of these are $\exp(O(k \log(N/k)))$ approximations to the permanent of $N imes N$ matrices with non-negative rank at most $k$, improving upon the previous known bounds of $\exp(O(N))$. To obtain our results on PML, we exploit the fact that the PML objective is proportional to the permanent of a certain Vandermonde matrix with $\sqrt{n}$ distinct columns, i.e. with non-negative rank at most $\sqrt{n}$. As a by-product of our work we establish a surprising connection between the convex relaxation in prior work (CSS19) and the well-studied Bethe and Sinkhorn approximations.

연구 동기 및 목표

• 이산 분포의 i.i.d. 표본으로부터 프로파일 최대우도(PML) 분포를 효율적으로 계산하는 알고리즘을 개발하는 것.
• 기존의 다항시간 최선의 성능인 exp(−O(n^{2/3} log n))를 초월하여 PML 계산의 근사 요인을 향상시키는 것.
• 낮은 랭크 비음수 행렬에 대한 Bethe 및 Sinkhorn 행렬식 근사에 대한 더 엄밀한 경계를 확립하는 것.
• 이전 연구에서 사용된 볼록 최적화 기법과 잘 알려진 Bethe 및 Sinkhorn 행렬식 근사 간의 구조적 연결 고리를 설정하는 것.
• 이산 분포의 대칭적 성질에 대한 더 넓은 범위의 표본 최적 추정을 가능하게 하는 것.

제안 방법

• PML 목표함수는 √n개의 서로 다른 열을 가진 바르데모네 행렬의 행렬식 비례함을 이용하며, 이는 비음수 랭크가 최대 √n임을 보여준다.
• Bethe 및 Sinkhorn 행렬식이 비음수 행렬의 N×N 행렬(랭크 ≤k)에 대해 exp(O(k log(N/k)))의 요인 내에서 진짜 행렬식을 근사함을 보여주는 새로운 경계를 제안한다.
• 레마 6.15의 대각선 구조 및 반올림 기법을 활용하여 행렬식 추정 과정에서의 근사 오차를 통제한다.
• Bethe 및 Sinkhorn 근사법을 히وري스틱으로 사용하여 낮은 랭크 행렬의 행렬식을 추정하고, 이를 통해 β-근사 PML 분포를 계산한다.
• 볼록 최적화 프레임워크를 활용하고, 로그-합-지수 항에 대한 구조 렘마와 부등식을 통해 Bethe/Sinkhorn 근사와 연결한다.
• 지수 항에 있는 엔트로피 유사 항을 분석하여, 근사된 행렬식과 진짜 행렬식의 비율에 하한을 설정함으로써 근사 요인이 최소 exp(−O(√n log n))임을 보장한다.

실험 결과

연구 질문

• RQ1 프로파일 최대우도(PML) 분포는 더 향상된 근사 보장 조건 하에서 더 효율적으로 계산될 수 있는가?
• RQ2 PML에 대해 다항시간 내에 달성 가능한 최선의 근사 요인은 무엇이며, 기존의 exp(−O(n^{2/3} log n))를 초월할 수 있는가?
• RQ3 Bethe 및 Sinkhorn 근사는 낮은 랭크 비음수 행렬의 행렬식을 얼마나 잘 근사하는가?
• RQ4 볼록 최적화 기법과 Bethe/Sinkhorn 근사 간에 행렬식 추정의 맥락에서 구조적 연결 고리가 존재하는가?
• RQ5 더 엄밀한 행렬식 근사 경계는 대칭적 성질 추정의 더 넓은 표본 최적성 달성에 기여할 수 있는가?

주요 결과

• 논문은 Bethe 및 Sinkhorn 행렬식이 임의의 비음수 N×N 행렬(랭크 ≤k)에 대해 exp(O(k log(N/k)))의 요인 내에서 진짜 행렬식을 근사함을 입증하며, 이는 이전의 exp(O(N)) 보다 향상된 결과이다.
• PML 계산에 있어서, 이 방법은 exp(−O(√n log n))의 근사 요인을 달성하며, 이는 기존의 다항시간 최고 성능인 exp(−O(n^{2/3} log n))을 초월한다.
• PML 목표함수는 √n개의 서로 다른 열을 가진 바르데모네 행렬의 행렬식에 비례하며, 이는 비음수 랭크가 최대 √n이므로 낮은 랭크 행렬식 경계를 적용할 수 있음을 보여준다.
• 이 연구는 이전 연구(CSS19)에서 사용된 볼록 최적화 기법과 Bethe 및 Sinkhorn 근사 간에 놀라운 연결 고리를 드러내며, 이전에 별개로 여겨졌던 두 접근법을 통합한다.
• 향상된 근사 요인 덕분에, ε > n^{−0.249}를 포함한 더 넓은 오차 매개변수 범위에서 표본 복잡도 최적의 보편 추정기로의 전환을 가능하게 한다.
• 분석을 통해 지수 항에 있는 엔트로피 유사 항을 구조 렘마와 반올림 조건을 이용해 경계함으로써, 근사된 행렬식과 진짜 행렬식의 비율이 최소 exp(−O(√n log n))임을 증명한다.