[논문 리뷰] A Polynomial Time Algorithm for Log-Concave Maximum Likelihood via Locally Exponential Families

Brian Axelrod, Ilias Diakonikolas외 3명|arXiv (Cornell University)|2019. 01. 01.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 $ n $개의 점이 $ \mathbb{R}^d $에 존재할 때 다변량 로그선형성 분포의 최대우도 추정을 다항시간에 계산하는 최초의 알고리즘을 제시한다. 이 알고리즘은 최적의 우도에 대해 덧셈 $ \eps $-근사치를 달성한다. 이 방법은 국소적으로 지수가족과의 새로운 연결을 활용하여 문제를 볼록 최적화 문제로 재구성하며, 효율적으로 근사된 부분미분을 사용하는 근사 1차 방법으로 해결할 수 있다.

ABSTRACT

We consider the problem of computing the maximum likelihood multivariate log-concave distribution for a set of points. Specifically, we present an algorithm which, given $n$ points in $\mathbb{R}^d$ and an accuracy parameter $\eps>0$, runs in time $\poly(n,d,1/\eps),$ and returns a log-concave distribution which, with high probability, has the property that the likelihood of the $n$ points under the returned distribution is at most an additive $\eps$ less than the maximum likelihood that could be achieved via any log-concave distribution. This is the first computationally efficient (polynomial time) algorithm for this fundamental and practically important task. Our algorithm rests on a novel connection with exponential families: the maximum likelihood log-concave distribution belongs to a class of structured distributions which, while not an exponential family, ``locally'' possesses key properties of exponential families. This connection then allows the problem of computing the log-concave maximum likelihood distribution to be formulated as a convex optimization problem, and solved via an approximate first-order method. Efficiently approximating the (sub) gradients of the objective function of this optimization problem is quite delicate, and is the main technical challenge in this work.

연구 동기 및 목표

• 비모수 통계에서의 기본 문제인 다변량 로그선형성 분포의 최대우도 추정을 계산적으로 효율적으로 계산하는 알고리즘을 개발하는 것.
• 이러한 최대우도 추정치가 다항시간 내에 계산될 수 있는지 여부라는 오랜 동안 미해결된 열린 문제를 다루는 것.
• 로그선형성 분포와 지수가족 사이의 새로운 이론적 연결을 확립하여, 후자가 국소적으로 전자의 핵심 성질을 상속함을 보여주는 것.
• 伝통적인 방법이 비현실적인 고차원 설정에서 로그선형성 밀도에 대한 실용적이고 확장 가능한 추론을 가능하게 하는 것.

제안 방법

• 알고리즘은 최대우도 로그선형성 분포가 국소적으로 지수가족과 유사한 분포의 클래스에 속함을 식별하여, 볼록 최적화 문제로 재구성할 수 있음을 보여준다.
• 로그우도 최대화 문제를 로그선형성 밀도의 공간에서의 볼록 최적화 문제로 재구성한다.
• 근사 1차 방법을 사용하여 볼록 최적화 문제를 해결하며, 다항시간 내에 수렴함을 보장한다.
• 핵심적인 기술적 혁신은 목적 함수의 부분미분을 효율적으로 근사하는 것으로, 이는 확장성과 성능에 매우 중요하다.
• 로그선형성 밀도의 기하학적 및 확률적 성질을 활용하여 기울기 근사의 오차를 제한한다.
• 알고리즘은 $ n $, $ d $, 및 $ 1/\eps $에 대해 다항시간 내에 실행되며, 높은 확률로 최적의 우도에 대해 $ \eps $-덧셈 근사치를 달성한다.

실험 결과

연구 질문

• RQ1 최대우도 다변량 로그선형성 분포는 다항시간 내에 계산될 수 있는가?
• RQ2 로그선형성 분포의 어떤 구조적 성질이 볼록 최적화 기법을 통한 근사에 허용하는가?
• RQ3 고차원 설정에서 로그우도 목적 함수의 부분미분은 어떻게 효율적으로 근사할 수 있는가?
• RQ4 국소 지수가족 성질은 비지수가족 분포에 대한 효율적 최적화를 어느 정도 가능하게 하는가?
• RQ5 로그선형성 밀도의 MLE를 덧셈 $ \eps $-오차 내에서 계산적으로 효율적으로 근사할 수 있는 방법이 있는가?

주요 결과

• 제안된 알고리즘은 최적의 최대우도 추정치에 대해 덧셈 $ \eps $ 이내의 우도를 갖는 로그선형성 분포를 계산한다.
• 알고리즘은 $ n $, $ d $, 및 $ 1/\eps $에 대해 다항시간 내에 실행되며, 이 문제에 대한 첫 번째 다항시간 해법을 확립한다.
• 핵심 통찰은 로그선형성 분포가 국소적으로 지수가족과 유사하게 행동하므로 볼록 최적화 재구성이 가능하다는 것이다.
• 로그선형성 밀도에 특화된 새로운 기하학적 및 확률적 기법을 통해 부분미분의 효율적 근사가 달성된다.
• 표준 표본 추출 가정 하에 높은 확률로 정확한 결과를 보장하여 실용적 사용에 대해 강건하다.
• 이 작업은 비모수 통계 분야에서 오랫동안 미해결이었던 문제를 해결하며, 다변량 로그선형성 MLE에 대한 첫 번째 계산적으로 효율적인 알고리즘을 제공한다.