[논문 리뷰] High-dimensional nonparametric density estimation via symmetry and shape constraints

Min Xu, Richard J. Samworth|arXiv (Cornell University)|2019. 03. 14.

Point processes and geometric inequalities참고 문헌 40인용 수 8

한 줄 요약

이 논문은 초고차원 비모수 밀도 추정 방법을 제안하며, 대칭성과 형태 제약 조건—특히 K-동형 로그볼록 밀도—를 활용한다. 여기서 초수준 집합은 볼록체 K의 스칼라 배수이다. 로그볼록성과 동형성의 특성을 활용하여, 차원 p에 관계없이 최악의 제곱 헬링거 리스크가 O(n⁻⁴/⁵)임을 확보함으로써 차원의 저주를 피하고, 생성 함수가 조각별 선형이면서 세그먼트 수가 적을 경우 거의 파rametric 수준의 수렴 속도를 달성한다.

ABSTRACT

We tackle the problem of high-dimensional nonparametric density estimation by taking the class of log-concave densities on $\mathbb{R}^p$ and incorporating within it symmetry assumptions, which facilitate scalable estimation algorithms and can mitigate the curse of dimensionality. Our main symmetry assumption is that the super-level sets of the density are $K$-homothetic (i.e. scalar multiples of a convex body $K \subseteq \mathbb{R}^p$). When $K$ is known, we prove that the $K$-homothetic log-concave maximum likelihood estimator based on $n$ independent observations from such a density has a worst-case risk bound with respect to, e.g., squared Hellinger loss, of $O(n^{-4/5})$, independent of $p$. Moreover, we show that the estimator is adaptive in the sense that if the data generating density admits a special form, then a nearly parametric rate may be attained. We also provide worst-case and adaptive risk bounds in cases where $K$ is only known up to a positive definite transformation, and where it is completely unknown and must be estimated nonparametrically. Our estimation algorithms are fast even when $n$ and $p$ are on the order of hundreds of thousands, and we illustrate the strong finite-sample performance of our methods on simulated data.

연구 동기 및 목표

• 형태 및 대칭 제약 조건을 통합하여 초고차원 비모수 밀도 추정에서 차원의 저주를 해결한다.
• n과 p가 각각 수십만 수준일 때도 적용 가능한 확장성 있고 튜닝이 없는 추정 알고리즘을 개발한다.
• 모르는 초수준 집합 K와 중심 벡터 µ에 대한 다양한 가정 하에서 이론적 리스크 한계를 확립한다.
• 간단한 복잡도를 가진 밀도(예: 조각별 선형 생성 함수)에 대한 적응성과 거의 파rametric 수준의 수렴 속도를 입증한다.
• K와 µ가 알려지지 않은 경우에 대해 계산이 효율적인 플러그인 추정 방법을 제공하며, 비모수적 K 추정을 위한 새로운 볼록체 기반 알고리즘을 포함한다.

제안 방법

• 볼록체 K에 대해 K-동형 로그볼록 밀도의 클래스를 f(x) = exp(φ(‖x−µ‖_K))로 정의하며, 여기서 φ는 볼록이며 감소하는 함수이고, ‖·‖_K는 K의 민코프스키 함수이다.
• 튜닝 파rameter가 없기 때문에 계산이 가능하다는 점을 이용해 K-동형 로그볼록 밀도 클래스 내에서 최대우도추정법(MLE)을 사용한다.
• 유한한 평균을 가진 분포의 클래스에서 K-동형 로그볼록 클래스로의 동형, 로그볼록 투영 ψ*_{K,µ}를 수립함으로써 플러그인 추정량 ˆfn = ψ*_{K̂,μ̂}(P_n)을 가능하게 한다.
• 임의의 방향에서 경계 추정치를 계산하고, 이들 경계 추정치는 각 방향 주변의 원뿔 내 데이터 포인트들의 평균 유클리드 노름으로 구한다. 이들를 바탕으로 경계 추정치의 볼록체를 계산함으로써 K의 비모수적 추정량을 제안한다.
• d²_X(ˆfn, f₀) = (1/n)∑ log(ˆfn(X_i)/f₀(X_i))로 정의되는 분산 측도를 사용하여 리스크 한계를 유도하며, 이는 쿨백-라이블러, 제곱 헬링거, 총변동 리스크를 상위로 제한한다.
• 헤우소프 거리와 척도 왜곡(dscale)과 같은 기하확률 도구를 활용하여 추정된 초수준 집합과 진짜 초수준 집합 간의 이탈을 통제한다.

실험 결과

연구 질문

• RQ1 대칭성과 형태 제약 조건을 활용하여 초고차원 비모수 밀도 추정에서 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 K와 µ가 알려진 경우 K-동형 로그볼록 MLE의 이론적 리스크 한계는 무엇이며, 이는 차원 p에 의존하는가?
• RQ3 생성 함수 φ가 간단한 형태(예: 조각별 선형)를 가진 밀도에 대해 추정량은 어떻게 적응하는가?
• RQ4 K와 µ가 알려져 있지 않고 추정되어야 할 경우, 특히 반모수적 및 비모수적 설정에서 리스크 한계는 어떻게 되는가?
• RQ5 동형성 및 로그볼록 제약 조건 하에서 초고차원 밀도 추정을 위한 확장성 있고 튜닝이 없는 알고리즘을 구성할 수 있는가?

주요 결과

• K와 µ가 알려진 경우, K-동형 로그볼록 MLE는 차원 p에 관계없이 최악의 제곱 헬링거 리스크가 O(n⁻⁴/⁵)임을 확보한다.
• 진짜 밀도가 k개의 세그먼트를 가진 조각별 선형 생성 함수를 가질 경우, 리스크는 O(k/n log⁵/⁴(en/k))로 제한되며, k가 작을 경우 거의 파라미터릭 수준의 수렴 속도에 가까워진다.
• K = Σ₀¹ᐟ²K₀로 주어지며 K₀는 알려져 있고 Σ₀는 알려져 있지 않은 반모수적 설정에서 최악의 제곱 헬링거 리스크는 다항로그 인자까지 고려하면 O(p³ᐟ²/n¹ᐟ²)이다.
• 반모수적 설정에서 매끄럽거나 1-아핀 생성 함수를 가진 경우, 적응 수렴 속도는 각각 O(n⁻⁴ᐟ⁵ + p³/n) 및 O(p³/n)이며, 로그 인자까지 고려한다.
• 비모수적 설정에서 K가 임의의 형태일 경우, 제안된 볼록체 기반 K 추정량은 M개의 임의의 방향을 사용할 때 최악의 제곱 헬링거 리스크가 O((log M / M)¹ᐟᵖ⁻¹)이다.
• 실험적 연구는 강력한 유한 표본 성능을 확인하였으며, n, p ~ 10⁵ 수준에서도 빠른 계산 속도를 보였고, 고차원에서 기존 비모수적 방법보다 성능이 뛰어나다.