[논문 리뷰] Optimality of Maximum Likelihood for Log-Concave Density Estimation and Bounded Convex Regression

Gil Kur, Yuval Dagan외 1명|arXiv (Cornell University)|2019. 03. 13.

Statistical Methods and Inference참고 문헌 54인용 수 18

한 줄 요약

이 논문은 고차원에서 로그볼록 밀도 추정과 유계 볼록 회귀에 대해 최대우도추정법(MLE)의 최대최소 최적성(minimax optimality)을 확립하며, $d \geq 4$일 때 제곱헬링거 거리와 $L_2$ 거리에서 $\Theta_d(n^{-2/(d+1)})$의 수렴 속도를 달성함을 보여, 이는 이전의 $d \leq 3$에 대한 최적성 결과를 확장한다. 또한 총변화 거리에서 날카운 $\Theta_d(n^{-2/(d+4)})$ 최대최소 속도를 유도하고, 로그볼록 밀도를 추정하기 위해 차원에 대해 지수적으로 많은 표본이 필요하다는 것을 증명하며, 이전 하한의 차원 상수를 향상시킨다.

ABSTRACT

In this paper, we study two problems: (1) estimation of a $d$-dimensional log-concave distribution and (2) bounded multivariate convex regression with random design with an underlying log-concave density or a compactly supported distribution with a continuous density. First, we show that for all $d \ge 4$ the maximum likelihood estimators of both problems achieve an optimal risk of $Θ_d(n^{-2/(d+1)})$ (up to a logarithmic factor) in terms of squared Hellinger distance and $L_2$ squared distance, respectively. Previously, the optimality of both these estimators was known only for $d\le 3$. We also prove that the $ε$-entropy numbers of the two aforementioned families are equal up to logarithmic factors. We complement these results by proving a sharp bound $Θ_d(n^{-2/(d+4)})$ on the minimax rate (up to logarithmic factors) with respect to the total variation distance. Finally, we prove that estimating a log-concave density - even a uniform distribution on a convex set - up to a fixed accuracy requires the number of samples \emph{at least} exponential in the dimension. We do that by improving the dimensional constant in the best known lower bound for the minimax rate from $2^{-d}\cdot n^{-2/(d+1)}$ to $c\cdot n^{-2/(d+1)}$ (when $d\geq 2$).

연구 동기 및 목표

• 고차원 설정($d \geq 4$)에서 로그볼록 밀도 추정과 유계 볼록 회귀에 대해 최대우도추정법(MLE)의 최대최소 최적성을 확립하여, 이전에 알려진 $d \leq 3$의 결과를 넘어서는 것.
• 총변화 거리에서 추정의 날카운 최대최소 속도를 도출하여, 로그 인자에 대해 $\Theta_d(n^{-2/(d+4)})$의 속도를 상수 인자까지 보장함.
• 로그볼록 밀도를 추정하기 위해, 심지어 볼록 집합 위의 균일 분포일지라도, 차원에 대해 지수적으로 많은 표본이 필요하다는 것을 증명하며, 기존 하한의 차원 상수를 향상시키는 것.

제안 방법

• 첫 번째 $n/3$개 표본의 표본 공분산 행렬을 사용하여 데이터를 표준화하고, 임의의 로그볼록 분포를 거의 등방향( isotropic )으로 변환하는 애핀 변환을 사용한다.
• 표준화된 표본에 대해 MLE 추정기를 적용하며, 등방향 로그볼록 밀도에 대한 기존 최적성 결과를 활용한다.
• 세 단계 표본 전략을 사용: $n/3$개 표본은 공분산 추정, $n/3$개는 평균 추정, $n/3$개는 변환된 데이터에서의 밀도 추정에 할애한다.
• 로그볼록 측도 위에서의 제곱 볼록 함수 기댓값에 대한 尾尾 공식과 농도 불등식을 사용하여, 경험 과정의 편차를 제한한다.
• 괄색 엔트로피와 엔트로피 수 기법을 활용하여 함수 클래스의 복잡도를 추정 위험과 연결한다.
• 고정점 원리를 기반으로 한 엔트로피 적분을 사용하여, Donsker 조건을 초월하는 비-Donsker 영역에서 MLE의 최적성을 확립하며, 이는 이전 결과를 초월한다.

실험 결과

연구 질문

• RQ1 고차원에서 $d \geq 4$일 때, 로그볼록 밀도 추정에 대해 최대우도추정법이 최적일까?
• RQ2 로그볼록 또는 컴act 지원을 가진 밀도를 가진 다변량 유계 볼록 회귀에 대해 추정의 최대최소 속도는 무엇인가?
• RQ3 MLE는 총변화 거리 하에서 최적 속도를 달성하는가? 그리고 차원과 표본 크기의 정확한 의존성은 무엇인가?
• RQ4 로그볼록 밀도를 추정하기 위한 표본 복잡도는 차원에 대해 지수 함수로 아래에서 유계지며, 하한의 상수는 향상시킬 수 있는가?
• RQ5 로그볼록 밀도 클래스와 유계 볼록 회귀 클래스의 엔트로피 수는 상수 인자까지 동일한가?

주요 결과

• 모든 $d \geq 4$에 대해, $d$차원 로그볼록 밀도 추정의 MLE는 제곱헬링거 거리에서 최대최소 위험을 $\Theta_d(n^{-2/(d+1)})$로 달성하며, 이는 $d \leq 3$을 초월하는 최적성의 확장이다.
• 로그볼록 또는 컴팩트한 지지 집합을 가진 다변량 유계 볼록 회귀에 대해, MLE는 $L_2$ 제곱 거리에서 동일한 $\Theta_d(n^{-2/(d+1)})$ 속도를 달성한다.
• 로그볼록 밀도 클래스와 유계 볼록 회귀 클래스의 $\epsilon$-엔트로피 수는 상수 인자까지 동일하다.
• 총변화 거리에서 추정의 날카운 최대최소 속도 $\Theta_d(n^{-2/(d+4)})$가 상수 인자까지 유도되었다.
• 논문은 로그볼록 밀도를 고정 정확도로 추정하기 위해 최소 $\Omega(c^n)$개의 표본이 필요하다는 것을 증명하며, 이는 이전 하한의 $2^{-d} \cdot n^{-2/(d+1)}$에서 $c \cdot n^{-2/(d+1)}$로 향상된 것으로, $d \geq 2$일 때 차원에 대해 지수적 의존성을 보여준다.
• 분석은 이러한 클래스에서 비-Donsker 영역에서 MLE가 최적임을 확인하며, 고전적인 Donsker 유형의 가정을 초월하는 고정점 기반 엔트로피 적분 논증을 사용한다.