[논문 리뷰] Learning Multivariate Log-concave Distributions

Ilias Diakonikolas, Daniel M. Kane외 1명|arXiv (Cornell University)|2016. 05. 26.

Machine Learning and Algorithms참고 문헌 51인용 수 11

한 줄 요약

이 논문은 $\mathbb{R}^d$에서 다변수 로그-볼록 확률 밀도 함수를 학습하는 데 필요한 샘플 복잡도 상한을 처음으로 확립하며, 총변화 거리에서 $\epsilon$-정확도를 달성하기 위해 $\tilde{O}_d((1/\epsilon)^{(d+5)/2})$개의 샘플로 충분하다고 보여준다. 이 결과는 $d > 3$에 대해 이전에 알려진 하한과 첫 번째 비자명한 상한 사이의 격차를 메우며, 정보 이론적 한계에 거의 도달한다.

ABSTRACT

We study the problem of estimating multivariate log-concave probability density functions. We prove the first sample complexity upper bound for learning log-concave densities on $\mathbb{R}^d$, for all $d \geq 1$. Prior to our work, no upper bound on the sample complexity of this learning problem was known for the case of $d>3$. In more detail, we give an estimator that, for any $d \ge 1$ and $ε>0$, draws $ ilde{O}_d \left( (1/ε)^{(d+5)/2} ight)$ samples from an unknown target log-concave density on $\mathbb{R}^d$, and outputs a hypothesis that (with high probability) is $ε$-close to the target, in total variation distance. Our upper bound on the sample complexity comes close to the known lower bound of $Ω_d \left( (1/ε)^{(d+1)/2} ight)$ for this problem.

연구 동기 및 목표

• 모든 $d \geq 1$에 대해 $\mathbb{R}^d$에서 다변수 로그-볼록 밀도 함수를 학습하는 데 필요한 샘플 복잡도 상한을 처음으로 확립함으로써, $d > 3$일 때는 이전에 상한이 존재하지 않았던 격차를 메우는 것.
• 이 문제에 대해 알려진 $\Omega_d((1/\epsilon)^{(d+1)/2})$ 샘플 복잡도 하한과 첫 번째 비자명한 상한 사이의 격차를 메우는 것.
• 유한한 반평면과 조각별 선형 함수의 조합을 사용하여 로그-볼록 밀도 함수를 효율적으로 추정할 수 있는 구조적 근사 프레임워크를 제공하는 것.
• 추정기에서 사용된 근사 클래스의 VC 차원을 특성화하여 향후 알고리즘 개발의 기초를 마련하는 것.

제안 방법

• 저자들은 $\mathbb{R}^d$의 다각형 분할 위에서 유한한 반평면 집합으로 구성된 다각형 분할을 기반으로, 진짜 로그-볼록 밀도 함수를 조각별 선형 함수로 근사하는 비모수 추정기를 설계한다.
• 그들은 후보 밀도 함수와 목표 밀도 함수 사이의 변화 거리의 변동을 캡처하는 함수 클래스 $\mathcal{A}_{d,\epsilon}$를 정의하며, 이는 수준 집합을 표현하기 위해 유한한 반평면 교차 집합을 사용한다.
• 이 방법은 두 로그-볼록 밀도 함수에 대해 $\{x : g(x) \geq g'(x)\}$의 집합이 유한한 반평면 교차의 합집합으로 표현될 수 있음을 보여주는 구조적 결과에 의존한다. 이는 유한한 표현을 가능하게 한다.
• 유한한 샘플 집합과의 반평면 교차 수를 사용하여 근사 클래스 $\mathcal{A}_{d,\epsilon}$의 VC 차원을 유계로 제한하며, 이로 인해 $O_d((1/\epsilon)^{(d+1)/2} \log^2(1/\epsilon))$의 bound를 도출한다.
• 샘플 복잡도는 총변화 거리에서 $\epsilon$-공으로 밀도 공간을 덮기 위해 후보 밀도 함수의 네트워크를 이산화하는 방식으로 추정기를 구성함으로써 유도된다.
• 최종 샘플 복잡도 상한은 VC-차원 유계와 균일 수렴 원리의 조합을 통해 유도되며, 이는 높은 확률로 $\epsilon$-정확도를 보장한다.

실험 결과

연구 질문

• RQ1 임의의 로그-볼록 밀도 함수를 $\mathbb{R}^d$에서 총변화 거리 기준으로 $\epsilon$-정확도로 학습하기 위해 필요한 정보 이론적 샘플 복잡도는 얼마인가?
• RQ2 이전에 알려진 상한이 없었던 $d > 3$일 때, 다변수 로그-볼록 밀도 추정에 대해 비자명한 샘플 복잡도 상한을 확립할 수 있는가?
• RQ3 로그-볼록 밀도 함수 학습의 샘플 복잡도는 알려진 $\Omega_d((1/\epsilon)^{(d+1)/2})$ 하한과 얼마나 가까이 도달할 수 있는가?
• RQ4 반평면과 같은 유한한 기하 객체의 집합을 사용하여 효율적으로 근사할 수 있는 로그-볼록 밀도 함수의 구조적 특성은 무엇인가?
• RQ5 제안된 추정기는 고차원에서 계산적으로 효율적인가, 아니면 정보 이론적 한계에 국한되는가?

주요 결과

• 논문은 모든 $d \geq 1$에 대해 $\mathbb{R}^d$에서 다변수 로그-볼록 밀도 함수를 학습하는 데 필요한 샘플 복잡도 상한을 처음으로 확립하며, 총변화 거리에서 $\epsilon$-정확도를 달성하기 위해 $\tilde{O}_d((1/\epsilon)^{(d+5)/2})$개의 샘플이 필요하다고 보여준다.
• 이 상한은 알려진 $\Omega_d((1/\epsilon)^{(d+1)/2})$ 하한과 $\tilde{O}_d(\epsilon^{-2})$ 요인 내에서 근접해 있어, 거의 최적임을 시사한다.
• 근사 클래스 $\mathcal{A}_{d,\epsilon}$의 VC 차원은 $O_d((1/\epsilon)^{(d+1)/2} \log^2(1/\epsilon))$로 유계로 제한되며, 이는 샘플 복잡도 상한을 도출하는 데 핵심적이다.
• 저자들은 두 로그-볼록 밀도 함수 사이의 총변화 거리를 그 차이의 $\mathcal{A}_{d,c\epsilon}$-노름으로 제어할 수 있음을 보여주며, 이는 유한차원 근사 문제로의 환원을 가능하게 한다.
• 두 로그-볼록 밀도 함수에 대해 $\{x : g(x) \geq g'(x)\}$의 집합이 반평면 교차의 유한한 합집합으로 표현될 수 있다는 구조적 결과는 분석의 핵심이며, 이는 유한한 표현을 가능하게 한다.
• 논문은 일반적인 차원에서 로그-볼록 밀도 함수를 학습하는 다항식 시간 알고리즘이 존재하는지 여부는 열려 있는 문제로 남겨두며, $d=1$일 땐 그러한 알고리즘이 알려져 있음을 언급한다.