[論文レビュー] The Bethe and Sinkhorn Permanents of Low Rank Matrices and Implications for Profile Maximum Likelihood

Nima Anari, Moses Charikar+2 more|arXiv (Cornell University)|Apr 6, 2020

Markov Chains and Monte Carlo Methods参考文献 43被引用数 5

ひとこと要約

本稿では、低ランク行列のベーゼおよびシンクホルン行列式を用いて、離散的分布のプロファイル最大尤度（PML）を多項式時間で近似するアルゴリズムを提示する。PML計算における近似要因を、以前の上限の exp(−O(n^{2/3} log n)) を上回る exp(−O(√n log n)) に改善した。これは、ランク-k の非負行列の行列式に対するより鋭い境界を確立し、バーディング構造を介してPML計算と結びつけることで達成された。

ABSTRACT

In this paper we consider the problem of computing the likelihood of the profile of a discrete distribution, i.e., the probability of observing the multiset of element frequencies, and computing a profile maximum likelihood (PML) distribution, i.e., a distribution with the maximum profile likelihood. For each problem we provide polynomial time algorithms that given $n$ i.i.d.\ samples from a discrete distribution, achieve an approximation factor of $\exp\left(-O(\sqrt{n} \log n) ight)$, improving upon the previous best-known bound achievable in polynomial time of $\exp(-O(n^{2/3} \log n))$ (Charikar, Shiragur and Sidford, 2019). Through the work of Acharya, Das, Orlitsky and Suresh (2016), this implies a polynomial time universal estimator for symmetric properties of discrete distributions in a broader range of error parameter. We achieve these results by providing new bounds on the quality of approximation of the Bethe and Sinkhorn permanents (Vontobel, 2012 and 2014). We show that each of these are $\exp(O(k \log(N/k)))$ approximations to the permanent of $N imes N$ matrices with non-negative rank at most $k$, improving upon the previous known bounds of $\exp(O(N))$. To obtain our results on PML, we exploit the fact that the PML objective is proportional to the permanent of a certain Vandermonde matrix with $\sqrt{n}$ distinct columns, i.e. with non-negative rank at most $\sqrt{n}$. As a by-product of our work we establish a surprising connection between the convex relaxation in prior work (CSS19) and the well-studied Bethe and Sinkhorn approximations.

研究の動機と目的

• 独立同分布の標本から得られる離散的分布のプロファイル最大尤度（PML）分布を効率的に計算するためのアルゴリズムを開発すること。
• PML計算の近似要因を、以前の最先端の exp(−O(n^{2/3} log n)) を上回る多項式時間内での近似要因に改善すること。
• 低ランク非負行列のベーゼおよびシンクホルン近似の行列式に対するより鋭い境界を確立すること。
• 先行研究における凸緩和技法と、よく知られたベーゼおよびシンクホルン近似の行列式との間の構造的関係を確立すること。
• 離散的分布の対称的性質に対するより広範なサンプル最適な普遍的推定を可能にすること。

提案手法

• PML目的関数が、異なる列が √n 個あるバーディング行列の行列式に比例することを活用し、その行列の非負のランクは √n 未満である。
• ベーゼおよびシンクホルン行列式が、ランク ≤k の N×N 非負行列の行列式を、要因 exp(O(k log(N/k))) の範囲内で近似できることを示す新たな境界を導入する。
• 補題6.15における対角構造と丸め技術を用いて、行列式推定プロセスにおける近似誤差を制御する。
• ベーゼおよびシンクホルン近似をヒューリスティックとして用い、低ランク行列の行列式を推定し、それらを用いて β-近似PML分布を計算する。
• 凸緩和フレームワークを採用し、対数和指数項に関する構造的補題と不等式を介して、ベーゼ／シンクホルン近似と結びつける。
• 指数部のエントロピーに類似した項を解析することで、近似された行列式と真の行列式の比の下限を導出し、近似要因が少なくとも exp(−O(√n log n)) であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 プロファイル最大尤度（PML）分布は、改善された近似保証のもとでより効率的に計算可能か？
• RQ2 PMLの多項式時間内での最良の近似要因は何か？ そして、exp(−O(n^{2/3} log n)) を超える改善は可能か？
• RQ3 ベーゼおよびシンクホルン近似は、低ランク非負行列の行列式をどの程度正確に推定できるか？
• RQ4 凸緩和手法とベーゼ／シンクホルン近似との間には、行列式推定の文脈で構造的関係があるか？
• RQ5 より鋭い行列式近似境界は、対称的性質推定におけるより広範なサンプル最適性をもたらすか？

主な発見

• 本稿では、任意の N×N 非負行列（ランク ≤k）の行列式が、ベーゼおよびシンクホルン行列式によって要因 exp(O(k log(N/k))) の範囲内で近似可能であることが示された。これは、以前の上限の exp(O(N)) を上回る改善である。
• PML計算において、本手法は近似要因 exp(−O(√n log n)) を達成し、以前の最良の多項式時間上限である exp(−O(n^{2/3} log n)) を上回った。
• PML目的関数が、異なる列が √n 個あるバーディング行列の行列式に比例することを示し、その非負のランクは √n 未満であるため、低ランク行列式の境界を適用可能である。
• 本研究は、先行研究（CSS19）で用いられた凸緩和とベーゼおよびシンクホルン近似との間の驚くべき関係を明らかにし、以前は別個の手法であった2つのアプローチを統合した。
• 改善された近似要因により、ε > n^{−0.249} を含むより広範な誤差パラメータ範囲において、サンプル複雑度が最適な普遍的推定器を構築可能となった。
• 構造的補題と丸め条件を用いて指数部のエントロピーに類似した項をバウンディングすることで、近似された行列式と真の行列式の比が少なくとも exp(−O(√n log n)) であることが解析的に証明された。