[論文レビュー] Rates of estimation for determinantal point processes

Victor-Emmanuel Brunel, Ankur Moitra+2 more|arXiv (Cornell University)|Jun 3, 2017

Random Matrices and Applications参考文献 29被引用数 6

ひとこと要約

本稿は、離散的決定的ポイントプロセス（DPP）の最尤推定量（MLE）の厳密な統計的分析を提供し、MLEがパラメトリック収束速度を達成する条件を確立している。収束がパラメトリックに速い場合でも、次元が増加するにつれて漸近的分散が指数関数的に増大する次元の呪いが存在することを特定している。

ABSTRACT

Determinantal point processes (DPPs) have wide-ranging applications in machine learning, where they are used to enforce the notion of diversity in subset selection problems. Many estimators have been proposed, but surprisingly the basic properties of the maximum likelihood estimator (MLE) have received little attention. In this paper, we study the local geometry of the expected log-likelihood function to prove several rates of convergence for the MLE. We also give a complete characterization of the case where the MLE converges at a parametric rate. Even in the latter case, we also exhibit a potential curse of dimensionality where the asymptotic variance of the MLE is exponentially large in the dimension of the problem.

研究の動機と目的

• 機械学習における多様性を促進するサブセット選択に急速に応用が広がっている離散的決定的ポイントプロセス（DPP）の最尤推定量（MLE）の統計的性質を理解すること。
• 期待対数尤度関数の局所的幾何構造を特定し、MLEがパラメトリック収束速度を達成する条件を同定すること。
• MLEの漸近的分散を定量化し、特に高次元設定においてその大きさを制御する組合せ的パラメータを同定すること。
• DPP推定において「次元の呪い」が存在するかを調査すること。これは、収束速度がパラメトリックであるにもかかわらず、次元Nが増加するにつれて漸近的分散が指数関数的に増大する現象を指す。

提案手法

• 期待対数尤度関数の曲率を分析する情報幾何的アプローチを採用し、そのグローバル・マックスイム周辺の曲率を検討する。
• 対数尤度関数の強い凸性解析を用いて、MLEの漸近的分散の下界を導出する。
• ヴァン・デル・ヴァート（1998）の定理5.14および定理5.41を含む、漸近統計の理論的道具を用いて一貫性および漸近正規性を確立する。
• DPPのパrameterizationにおける不変性に対処するため、対角スケーリング行列 $ D \to \tilde{L} = D \tilde{L} D $ を用いた正規化ステップを導入する。
• フィッシャー情報行列とその逆行列可能性を分析し、MLEが $ \sqrt{n} $-一貫性を満たす条件を同定する。
• 真のカーネル $ L^* $ がブロック対角構造を取ることを活用し、ブロック間とブロック内推定を別々に分析することで、異なるブロックにおける推定速度を区別する。

実験結果

リサーチクエスチョン

• RQ1 DPPの最尤推定量がパラメトリック速度 $ n^{-1/2} $ で収束する条件は何か？
• RQ2 MLEの漸近的分散を制御するDPPカーネル $ L^* $ の組合せ的または構造的性質は何か？
• RQ3 MLEは、収束速度がパラメトリックである場合でも、次元 $ N $ が増加するにつれて漸近的分散が指数関数的に増大する「次元の呪い」に見舞われるか？
• RQ4 $ L^* $ がブロック対角的だが非可約でない場合、カーネルの異なるブロックにおける推定速度はどのように異なるか？
• RQ5 $ L^* $ が可約でない場合、MLEは漸近的に正規分布に従うか？その漸近的分散作用素の形は何か？

主な発見

• MLEがパラメトリック速度 $ n^{-1/2} $ で収束するのは、真のカーネル $ L^* $ が可約でない場合に限り、定理3で確立されている。
• $ L^* $ が可約でない場合、MLE $ \tilde{L} $ は漸近的に正規分布に従い、漸近的分散作用素が $ V(L^*) $ であることが定理7で示されている。
• 可約で非退化な $ L^* $ の場合、$ \sqrt{n} \cdot \mathrm{Tr}[(\tilde{L} - L^*)^\top H] $ の漸近的分散は、ある $ c > 1 $ に対して少なくとも $ c^N $ であることが示され、指数的次元の呪いが存在することが裏付けられている。
• $ L^* $ がブロック対角的である場合、ブロック間エントリ $ \hat{L}_{J,J'} $ のMLEは $ O_{\mathrm{P}}(n^{-1/6}) $ の速度で収束するが、ブロック内エントリ $ \hat{L}_J $ はより速い $ n^{-1/2} $ の速度で収束する。
• フィッシャー情報行列が可逆であるのは、$ L^* $ が可約である場合に限り、これは $ \sqrt{n} $-一貫性の必要十分条件である。
• MLEの漸近的分散は、対数尤度関数の強い凸性定数によって制御されており、これは命題4で定量的に評価されており、$ L^* $ の組合せ的構造と関連付けられている。