[논문 리뷰] Multivariate Density Estimation via Adaptive Partitioning (I): Sieve MLE

Linxi Liu, Wing Hung Wong|arXiv (Cornell University)|2014. 01. 12.

Statistical Methods and Inference참고 문헌 27인용 수 4

한 줄 요약

이 논문은 스크리브 최대우도 기반으로 조각별로 일정한 밀도 추정기법을 구성하기 위해 적응형 이진 분할을 사용하는 비모수 다변량 밀도 추정 방법을 제안한다. 주요 기여는 특정 부드러움 조건 하에서 차원에 독립적인 수렴 속도를 확보함으로써 차원의 저주에 대한 면역성을 입증하고 고차원 설정에서 거의 파rametric 수렴 속도를 달성한다는 점이다.

ABSTRACT

We study a non-parametric approach to multivariate density estimation. The estimators are piecewise constant density functions supported by binary partitions. The partition of the sample space is learned by maximizing the likelihood of the corresponding histogram on that partition. We analyze the convergence rate of the sieve maximum likelihood estimator, and reach a conclusion that for a relatively rich class of density functions the rate does not directly depend on the dimension. This suggests that, under certain conditions, this method is immune to the curse of dimensionality, in the sense that it is possible to get close to the parametric rate even in high dimensions. We also apply this method to several special cases, and calculate the explicit convergence rates respectively.

연구 동기 및 목표

• 기존 방법이 실패하는 고차원 설정에서도 효과적인 비모수 다변량 밀도 추정 방법을 개발하기 위해.
• 밀도 추정에서 차원의 저주를 해결하기 위해, 수렴 속도가 증가하는 차원에 따라 악화되지 않는 추정기법을 설계하기 위해.
• 데이터에 적응하는 분할 기반을 설계하여 최적의 히스토그램 구조를 데이터로부터 학습함으로써 융통성과 정확성을 향상시키기 위해.
• 진짜 밀도의 일반적인 부드러움 조건 하에서 스크리브 최대우도 추정기의 이론적 수렴 속도를 확립하기 위해.
• 효용적 차원(ambient 차원이 아닌)이 수렴 속도를 결정함을 입증하여, 고차원 희소 구조에서의 성능을 가능하게 하기 위해.

제안 방법

• 이 방법은 표본 공간의 이진 분할 위에 정의된 조각별 일정한 밀도 함수를 사용하며, 분할은 히스토그램 위에서 우도를 최대화함으로써 학습된다.
• 스크리브 최대우도 프레임워크는 조각별 일정한 밀도 모델 하에서 관측된 데이터의 로그우도를 최대화하는 분할을 선택한다.
• 공간을 좌표축을 따라 반복적으로 분할함으로써 적응형 분할을 달성하여, 고밀도 또는 고복잡도 영역에 해상도를 집중시킨다.
• 밀도를 이진 분할 위에서 표현하기 위해 헤어 웨이브렛 기저 함수를 활용함으로써 효율적인 계산과 근사 분석이 가능해진다.
• 이론적 분석은 엔트로피와 메트릭 엔트로피의 논리를 사용하여 근사 오차를 제한하고, 유효 차원에 따라 수렴 속도를 확립한다.
• 추정된 밀도의 정규화는 수렴 성질을 유지하면서도 유효한 확률밀도함수를 유지한다.

실험 결과

연구 질문

• RQ1 비모수 밀도 추정기법이 희소성이나 낮은 내재 차원을 가정하지 않고도 고차원 설정에서 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 스크리브 최대우도 프레임워크 내에서 적응형 이진 분할을 사용할 경우, 수렴 속도가 암시적 차원에 의존하지 않는가?
• RQ3 수렴 속도가 진짜 밀도의 부드러움과 기저 분포의 유효 차원에 어떻게 의존하는가?
• RQ4 이 방법은 관련 변수를 자동으로 탐지하고 고차원 데이터에서 집중할 수 있는가, 즉 관련 차원의 수가 사전에 알려져 있지 않더라도 가능한가?
• RQ5 일반적인 부드러움 가정 하에서 고차원에서 히스토그램 기반 밀도 추정기의 이론적 성능 한계는 무엇인가?

주요 결과

• 스크리브 최대우도 추정기법은 $ n^{-\frac{\tilde{p}}{2\tilde{p} + 2\tilde{p}}} $의 $ L^2 $-노름에서 수렴 속도를 달성하며, 이는 $ n^{-\frac{\tilde{p}}{2\tilde{p} + 2\tilde{p}}} $로 단순화되지만, 더 정확히는 $ n^{-\frac{\tilde{p}}{2\tilde{p} + 2\tilde{p}}} $이며, 거의 파rametric 성능을 나타낸다.
• 수렴 속도는 암시적 차원 $ p $ 가 아니라 유효 차원 $ \tilde{p} $ 에만 의존하므로, 차원의 저주에 대한 면역성을 입증한다.
• 오직 $ \tilde{p} $ 개의 변수에 의존하는 $ p $ 차원 밀도의 경우, 수렴 속도는 $ n^{-\frac{\tilde{p}}{2\tilde{p} + 2\tilde{p}}} $이며, $ \tilde{p} $ 가 작을 경우 파라미터 기반 속도 $ n^{-1/2} $ 에 가까워진다.
• 근사 오차는 $ I^{-\frac{\tilde{p}}{2\tilde{p} + 2\tilde{p}}} (\text{log } I)^{\tilde{p}/2} $ 로 제한되며, 여기서 $ I $ 는 분할의 크기이다. 이는 방법이 진짜 밀도의 복잡성에 적응함을 보여준다.
• 이론적 분석은 이 방법이 비등방성 홀더 및 베소프 클래스에서 최소 최대 속도를 로그 인자까지 달성함을 확인하여, 넓은 비모수 클래스에서의 최적성(optimality)을 확인한다.
• 이론적 분석은 이 방법이 고차원 데이터에서 관련 변수를 자동으로 탐지하고 집중할 수 있음을 확인한다. 이는 유효 부분공간에 대한 사전 지식이 없더라도 가능하다.