[논문 리뷰] Rates of estimation for determinantal point processes

Victor-Emmanuel Brunel, Ankur Moitra외 2명|arXiv (Cornell University)|2017. 06. 03.

Random Matrices and Applications참고 문헌 29인용 수 6

한 줄 요약

이 논문은 이산 결정성 점 과정(DPPs)에 대한 최대우도추정량(MLE)에 대한 엄밀한 통계적 분석을 제공하며, MLE가 파rametric 수렴 속도를 달성할 조건을 규명한다. 조건이 충족될 경우 MLE의 점근적 분산이 차원에 따라 지수적으로 증가하는 차원의 저주(curse of dimensionality)가 존재함을 규명한다.

ABSTRACT

Determinantal point processes (DPPs) have wide-ranging applications in machine learning, where they are used to enforce the notion of diversity in subset selection problems. Many estimators have been proposed, but surprisingly the basic properties of the maximum likelihood estimator (MLE) have received little attention. In this paper, we study the local geometry of the expected log-likelihood function to prove several rates of convergence for the MLE. We also give a complete characterization of the case where the MLE converges at a parametric rate. Even in the latter case, we also exhibit a potential curse of dimensionality where the asymptotic variance of the MLE is exponentially large in the dimension of the problem.

연구 동기 및 목표

• 기계학습에서 다양성을 유도하는 부분집합 선택에 점점 더 널리 사용되고 있는 이산 결정성 점 과정(DPPs)에 대한 최대우도추정량(MLE)의 통계적 성질을 이해하기 위해.
• MLE가 파arametric 수렴 속도를 달성할 조건을 결정하기 위해 기대 로그우도 함수의 국소 기하학을 규명하기 위해.
• MLE의 점근적 분산을 정량화하고, 특히 고차원 설정에서 그 크기를 결정하는 조합적 매개변수를 규명하기 위해.
• DPP 추정에서 '차원의 저주'가 존재하는지 조사하기 위해, 이는 파arametric 수렴 속도가 유지되는 동안에도 점근적 분산이 차원에 따라 지수적으로 증가하기 때문이다.

제안 방법

• 기대 로그우도 함수의 곡률을 분석하기 위해 정보기하학적 접근을 사용한다.
• 로그우도의 강한 볼록성 분석을 통해 MLE의 점근적 분산에 하한을 도출한다.
• 반데르바르트(Van der Vaart, 1998)의 정리 5.14 및 정리 5.41과 같은 점근적 통계 이론 도구를 적용하여 일관성과 점근적 정규성을 확립한다.
• DPP 매개변수화의 불변성을 다루기 위해 대각 스케일링 행렬 $ D o ilde{L} = D ilde{L} D $ 을 통한 정규화 단계를 도입한다.
• Fisher 정보 행렬과 그 역행렬 가능성을 분석하여 MLE가 $ \sqrt{n} $-일관성이 되는 조건을 규명한다.
• 진짜 커널 $ L^* $ 가 블록 대각 구조를 띠므로, 서로 다른 블록들에 대해 별도로 추정 속도를 분석하며, 블록 간과 블록 내 추정을 구분한다.

실험 결과

연구 질문

• RQ1 DPP에 대한 최대우도추정량이 파arametric 수렴 속도 $ n^{-1/2} $ 를 달성할 조건은 무엇인가?
• RQ2 DPP 커널 $ L^* $ 의 조합적 또는 구조적 성질 중에서 MLE의 점근적 분산을 제어하는 것은 무엇인가?
• RQ3 MLE는 파arametric 수렴 속도가 유지되는 동안에도 차원 $ N $ 에 따라 점근적 분산이 지수적으로 증가하는 '차원의 저주'를 겪는가?
• RQ4 만약 $ L^* $ 가 블록 대각이지만 비기약적일 경우, 커널의 블록들 간의 추정 속도는 어떻게 다를까?
• RQ5 만약 $ L^* $ 가 기약적일 경우, MLE는 점근적으로 정규분포를 따르는가? 그 점근적 공분산 연산자의 형태는 무엇인가?

주요 결과

• DPP에 대한 MLE는 오직 진짜 커널 $ L^* $ 가 기약적일 때에만 파arametric 수렴 속도 $ n^{-1/2} $ 를 달성하며, 이는 정리 3에 의해 입증된다.
• 만약 $ L^* $ 가 기약적일 경우, MLE $ \tilde{L} $ 는 점근적으로 정규분포를 따르며, 점근적 공분산 연산자는 $ V(L^*) $ 로 주어진다. 이는 정리 7에 의해 보여진다.
• 기약적이고 비퇴화된 $ L^* $ 에 대해, $ \sqrt{n} \cdot \mathrm{Tr}[(\tilde{L} - L^*)^\top H] $ 의 점근적 분산은 어떤 $ c > 1 $ 에 대해 최소 $ c^N $ 이상이므로, 지수적 차원의 저주가 존재함을 시사한다.
• 만약 $ L^* $ 가 블록 대각일 경우, 블록 간 항목 $ \hat{L}_{J,J'} $ 의 MLE 수렴 속도는 $ O_{\mathrm{P}}(n^{-1/6}) $ 이며, 블록 내 항목 $ \hat{L}_J $ 는 더 빠른 $ n^{-1/2} $ 속도로 수렴한다.
• Fisher 정보 행렬이 역행렬 가능할 조건은 오직 $ L^* $ 가 기약적일 때에만 성립하며, 이는 $ \sqrt{n} $-일관성의 필수 및 필요충분 조건이다.
• MLE의 점근적 분산은 로그우도의 강한 볼록성 상수에 의해 제어되며, 이는 제안 4에서 정량적으로 유계화되어 있고, $ L^* $ 의 조합적 구조와 연결되어 있다.