[논문 리뷰] Maximum likelihood estimation of determinantal point processes

Victor-Emmanuel Brunel, Ankur Moitra외 2명|arXiv (Cornell University)|2017. 01. 23.

Random Matrices and Applications참고 문헌 42인용 수 6

한 줄 요약

이 논문은 이산 결정성 점 과정(DPPs)에 대한 최대우도추정법(MLE)에 대한 엄밀한 통계적 분석을 제공하며, MLE의 수렴 속도가 특정 조합 조건을 만족할 경우에만 파arametric가 되는 것으로 드러난다. 이는 우도 곡면상에 지수적으로 많은 안장점이 존재한다는 것을 규명하며, 비볼록성에도 불구하고 MLE가 여전히 효율적으로 계산될 수 있음을 시사한다.

ABSTRACT

Determinantal point processes (DPPs) have wide-ranging applications in machine learning, where they are used to enforce the notion of diversity in subset selection problems. Many estimators have been proposed, but surprisingly the basic properties of the maximum likelihood estimator (MLE) have received little attention. The difficulty is that it is a non-concave maximization problem, and such functions are notoriously difficult to understand in high dimensions, despite their importance in modern machine learning. Here we study both the local and global geometry of the expected log-likelihood function. We prove several rates of convergence for the MLE and give a complete characterization of the case where these are parametric. We also exhibit a potential curse of dimensionality where the asymptotic variance of the MLE scales exponentially with the dimension of the problem. Moreover, we exhibit an exponential number of saddle points, and give evidence that these may be the only critical points.

연구 동기 및 목표

• 기계학습에서 다양성 있는 부분집합 선택에 널리 사용되는 이산 결정성 점 과정(DPPs)에 대한 최대우도추정법(MLE)의 통계적 성질을 이해하기 위해.
• 특히 고차원에서 우도 함수가 비볼록적이기 때문에 DPPs에 대한 MLE에 대한 이론적 이해가 부족한 문제를 해결하기 위해.
• MLE가 파arametric 수렴 속도를 달성하는 조건을 규명하고, 점점 커지는 차원에 따라 비율이 지수적으로 증가할 수 있는 점근적 분산을 정량화하기 위해.
• 특히 임계점의 구조를 포함한 기대 로그우도 함수의 전반적 기하학적 구조를 조사하여 효율적인 최적화를 위한 통찰을 제공하기 위해.

제안 방법

• 기대 로그우도 함수의 최대 근처에서 국소 곡률을 분석하기 위해 정보기하학적 접근을 사용한다.
• DPP의 조합적 매개변수에 대한 강凸성 상수의 의존성 분석을 통해 MLE가 파arametric 속도로 수렴하는 정확한 조건을 유도한다.
• 행렬 섭동 이론과 행렬식 항등식을 사용하여, DPP의 부분 분리에 해당하는 지수적 수의 안장점이 기대 로그우도 함수에 존재함을 증명한다.
• 집중 불등식(Hoeffding의 부등식)과 컴actness 추론을 적용하여, MLE가 수렴하는 컴act한 매개변수 집합을 구성함으로써 거의 확실한 일致성을 보인다.
• van der Vaart(1998)의 정리 5.14 및 추론 5.53을 활용하여 점근적 통계 도구를 적용하여 MLE의 확률 수렴과 일치성을 확립한다.
• 로그우도 함수의 임계점의 구조를 도함수를 통해 분석하고, 임계점에서 커널 행렬 $K = L(I+L)^{-1}$의 대각성분이 경험적 마진 확률과 일치해야 함을 보여준다.

실험 결과

연구 질문

• RQ1 이산 DPP에 대한 최대우도추정법(MLE)이 어떤 조건에서 파arametric 수렴 속도를 달성하는가?
• RQ2 MLE의 점근적 분산은 문제의 차원에 따라 어떻게 변화하는가? 그리고 고차원에서의 차원의 악몽(curse of dimensionality)이 발생할 수 있는가?
• RQ3 DPPs의 기대 로그우도 함수의 전반적 기하학적 구조는 어떠한가? 특히 임계점의 성격과 수는 무엇인가?
• RQ4 식별된 지수적 수의 안장점은 우도 함수의 유일한 임계점인가?
• RQ5 비볼록 우도 함수에도 불구하고, 곡면의 기하학적 구조를 고려할 때 MLE는 효율적으로 계산될 수 있는가?

주요 결과

• DPP에 대한 MLE는 오직 해당 DPP가 그 마진 확률의 구조와 관련된 특정 조합 조건을 만족할 경우에만 파arametric 수렴 속도를 달성한다.
• MLE의 점근적 분산은 문제의 차원에 따라 지수적으로 증가하며, 이는 고차원 DPP 추정에서 차원의 악몽이 발생할 수 있음을 시사한다.
• 기대 로그우도 함수는 최소 $2^N$개의 안장점을 지닌다. 각 안장점은 인덱스 부분집합에 대해 DPP가 독립적인 구성요소로 부분 분리된 상태에 해당한다.
• 이 논문은 이러한 안장점이 우도 함수의 유일한 임계점일 가능성이 높다는 강력한 증거를 제공한다. 이는 최적화 알고리즘이 잘못된 국소 최대값을 피할 수 있음을 의미한다.
• MLE는 거의 확실히 일치하며, 수렴 속도는 컴actness와 집중 추론을 통해 확립된다.
• 기약 DPP의 경우, 각 부분집합 $J$에 대해 커널 행렬 $L_J$의 MLE는 $n^{-1/2}$-일치성을 보이며, 이는 제한된 경우에 고전적인 점근적 결과를 확인한다.