[논문 리뷰] A Polynomial Time Algorithm for Maximum Likelihood Estimation of Multivariate Log-concave Densities

Ilias Diakonikolas, Anastasios Sidiropoulos외 1명|arXiv (Cornell University)|2018. 12. 13.

Markov Chains and Monte Carlo Methods참고 문헌 58인용 수 4

한 줄 요약

이 논문은 다변량 로그볼록 밀도의 최대우도추정량(MLE)을 계산하는 데 있어 처음으로 다항시간 알고리즘을 제시한다. 문제를 볼록 최적화 과제로 재구성하고, 볼록체의 부피 및 샘플링 근사 기법을 활용한 효율적인 확률적 하향기울기 방법을 적용함으로써, 시간 복잡도가 $\mathrm{poly}(n,d,1\!\!\!\!\epsilon)$인 $\epsilon$-근사해를 확보한다. 이는 비모수 통계학 및 이론 컴퓨터 과학 분야에서 오랫동안 미해결 문제로 남아 있던 문제를 해결한다.

ABSTRACT

We study the problem of computing the maximum likelihood estimator (MLE) of multivariate log-concave densities. Our main result is the first computationally efficient algorithm for this problem. In more detail, we give an algorithm that, on input a set of $n$ points in $\mathbb{R}^d$ and an accuracy parameter $ε>0$, it runs in time $ ext{poly}(n, d, 1/ε)$, and outputs a log-concave density that with high probability maximizes the log-likelihood up to an additive $ε$. Our approach relies on a natural convex optimization formulation of the underlying problem that can be efficiently solved by a projected stochastic subgradient method. The main challenge lies in showing that a stochastic subgradient of our objective function can be efficiently approximated. To achieve this, we rely on structural results on approximation of log-concave densities and leverage classical algorithmic tools on volume approximation of convex bodies and uniform sampling from convex sets.

연구 동기 및 목표

• 다변량 로그볼록 밀도의 최대우도추정량(MLE)을 계산하는 데 있어 계산적으로 효율적인 알고리즘을 개발하기 위해.
• 이전 방법들에서 관찰된 차원 $d$에 대한 지수적 의존도를 극복하기 위해, 예를 들어 [CSS10]에서 제시된 $\mathrm{poly}(n^d)$ 알고리즘의 문제점을 해결하기 위해.
• 고차원에서 다변량 로그볼록 밀도를 학습하기 위한 엄밀하고 효율적이며 증명 가능하게 올바른 방법을 제공하기 위해.
• 다변량 로그볼록 밀도에 대해 $n$, $d$, $1/\epsilon$에 대해 다항시간 런타임을 보장하는 첫 번째 적절한 학습 알고리즘을 확립하기 위해.

제안 방법

• 로그볼록 MLE 문제를 로그볼록 밀도 공간 위의 볼록 최적화 과제로 재구성하기 위해.
• 볼록 최적화 과제를 효율적으로 해결하기 위해 투영된 확률적 하향기울기 방법을 사용하기 위해.
• 밀도의 초수준 집합에서 균일 샘플링을 통해 확률적 하향기울기를 근사하기 위해, 부피 추정 알고리즘을 활용하기 위해.
• 볼록체에 대한 부피 근사 및 균일 샘플링 알고리즘을 적용하여 하향기울기를 효율적으로 추정하고 밀도를 정규화하기 위해.
• 추정된 정규화 상수를 사용한 거부 샘플링 프레임워크를 통해 후보 밀도에서 샘플링을 시뮬레이션하고 우도를 추정하기 위해.
• 이러한 구성 요소들을 조합하여, 농도 경계와 유니온 경계를 사용해 정확도를 $\epsilon$ 이내로 유지하는 재귀적 알고리즘을 구성하기 위해.

실험 결과

연구 질문

• RQ1 표본 크기 $n$, 차원 $d$, 역 정밀도 $1/\epsilon$에 대해 다변량 로그볼록 MLE를 다항시간 내에 계산할 수 있는가?
• RQ2 이전 방법에서 나타나는 $\mathrm{poly}(n^d)$ 블로킹 문제를 극복하여, MLE 계산에 대해 차원 $d$에 대해 지수적 이외의 의존도를 달성할 수 있는가?
• RQ3 효율적인 샘플링 및 부피 추정 기법을 볼록 최적화와 융합하여 비모수 MLE 문제를 해결할 수 있는가?
• RQ4 두 개의 로그볼록 분포 혼합물에 대한 MLE 계산 복잡도는 얼마이며, 이 프레임워크는 이러한 설정으로 확장 가능한가?

주요 결과

• 제안된 알고리즘은 시간 복잡도 $\mathrm{poly}(n,d,1\!\!\!\!\epsilon)$ 내에서 $\epsilon$-근사 로그볼록 MLE를 계산하며, 이 문제에 대해 처음으로 다항시간 해법을 달성한다.
• 실패 확률이 $\tau$ 이하인 고확률 정확도를 확보하기 위해, $\mathrm{poly}(n,d,\log R,1/\delta,\log(1/\tau))$ 시간이 소요되며, 여기서 $R$는 입력 점들에 대한 상한이다.
• 초수준 집합에 대한 부피 및 샘플링 오라클을 통해 확률적 하향기울기를 근사하는 데 의존하며, 이는 알려진 알고리즘을 통해 효율적으로 구현 가능하다.
• 후보 밀도의 정규화 상수 $\alpha$는 오차 $O(\delta)$ 내에서 추정되며, 이는 출력 분포가 진짜 목표 분포와 총변동 거리 $O(\delta)$ 이내에 있음을 보장한다.
• 알고리즘은 고확률로 추정된 밀도 $\widetilde{\phi}$가 $\|\widetilde{\phi} - \phi\|_1 \leq 10\delta$를 만족함을 보장한다.
• 프레임워크는 다변량 로그볼록 밀도에 대해 다항시간 런타임을 보장하는 적절한 학습 알고리즘을 제공하며, $n$에 대한 런타임은 $1/\epsilon$의 로그 척도에서 독립적이다.