[論文レビュー] Maximum likelihood estimation of determinantal point processes

Victor-Emmanuel Brunel, Ankur Moitra+2 more|arXiv (Cornell University)|Jan 23, 2017

Random Matrices and Applications参考文献 42被引用数 6

ひとこと要約

本稿は、離散的決定的ポイントプロセス（DPP）に対する最尤推定（MLE）の厳密な統計的分析を提供し、MLEの収束速度が特定の組合せ的条件下でのみパrametricであることを明らかにしている。尤度関数の多様な鞍点が存在することを示しており、非凸性にもかかわらずMLEが依然として効率的に計算可能である可能性を示唆している。

ABSTRACT

Determinantal point processes (DPPs) have wide-ranging applications in machine learning, where they are used to enforce the notion of diversity in subset selection problems. Many estimators have been proposed, but surprisingly the basic properties of the maximum likelihood estimator (MLE) have received little attention. The difficulty is that it is a non-concave maximization problem, and such functions are notoriously difficult to understand in high dimensions, despite their importance in modern machine learning. Here we study both the local and global geometry of the expected log-likelihood function. We prove several rates of convergence for the MLE and give a complete characterization of the case where these are parametric. We also exhibit a potential curse of dimensionality where the asymptotic variance of the MLE scales exponentially with the dimension of the problem. Moreover, we exhibit an exponential number of saddle points, and give evidence that these may be the only critical points.

研究の動機と目的

• 機械学習における多様性を備えたサブセット選択に広く用いられる離散的決定的ポイントプロセス（DPP）の最尤推定（MLE）の統計的性質を理解すること。
• 高次元における尤度関数の非凸性のため、DPPのMLEに関する理論的理解の不足に取り組むこと。
• MLEがパラメトリックな収束速度を達成する条件を特定し、漸近的分散が次元に指数関数的に依存するかを定量すること。
• 期待尤度関数のグローバルな幾何構造、特に臨界点の構造を調査し、効率的な最適化を支援すること。

提案手法

• 期待尤度関数の最大値回りの局所的曲率を情報幾何的アプローチで分析する。
• DPPの組合せ的パラメータに依存する強い凸性定数を分析することで、MLEがパラメトリック速度で収束する厳密な条件を導出する。
• 行列摂動理論と行列式の恒等式を用いて、DPPの部分的分解に対応する指数的多数の鞍点が期待尤度関数に存在することを証明する。
• 濃縮不等式（Hoeffdingの不等式）とコンact性の議論を用いて、MLEがコンactなパrameter集合上に集中することを示し、MLEのほとんど確実な一様性を示す。
• van der Vaart (1998) の定理5.14および系5.53を用いて、漸近的統計の道具を活用し、MLEの確率的収束と一貫性を確立する。
• 尤度関数の微分を用いて臨界点の構造を分析し、臨界点においてカーネル行列 $K = L(I+L)^{-1}$ の対角成分が、実現された周辺確率と一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 離散的DPPの最尤推定（MLE）がどの条件下でパラメトリックな収束速度を達成するか。
• RQ2 MLEの漸近的分散は問題の次元にどのように依存するか。次元の増大に伴う「次元の呪い」の可能性はあるか。
• RQ3 DPPの期待尤度関数のグローバルな幾何的構造は何か。特に、臨界点の性質と数は。
• RQ4 同定された指数的多数の鞍点は、尤度関数の唯一の臨界点であるか。
• RQ5 尤度関数が非凸であるにもかかわらず、この幾何的構造を踏まえ、MLEは効率的に計算可能か。

主な発見

• DPPのMLEは、その背後にあるDPPが周辺確率の構造に関連する特定の組合せ的条件を満たす場合に限り、パラメトリックな収束速度を達成する。
• MLEの漸近的分散は、問題の次元に指数関数的に依存するため、高次元におけるDPP推定の「次元の呪い」の可能性を示唆している。
• 期待尤度関数には少なくとも $2^N$ 個の鞍点が存在し、それぞれがインデックスの部分集合上でのDPPの独立成分への部分的分解に対応する。
• これらの鞍点が尤度関数の唯一の臨界点である可能性が強く示唆されており、最適化アルゴリズムが誤った局所的最大値を避ける可能性を示している。
• MLEはほとんど確実に一貫しており、真のパrameterに確率的収束する。収束速度はコンパクト性と濃縮の議論によって確立されている。
• 非可約DPPに対しては、各部分集合 $J$ におけるカーネル行列 $L_J$ のMLEは $n^{-1/2}$-一貫性を示し、制限された状況での古典的な漸近的結果を確認している。