[논문 리뷰] MULTIVARIATE DENSITY ESTIMATION BASED ON ADAPTIVE PARTITIONING: CONVERGENCE RATE, VARIABLE SELECTION AND SPATIAL ADAPTATION

Linxi Liu, Wing Hung Wong|arXiv (Cornell University)|2014. 01. 12.

Statistical Methods and Inference참고 문헌 18인용 수 8

한 줄 요약

이 논문은 최대우도를 극대화하는 적응형 이진 분할을 사용하여 조각별로 일정한 히스토그램을 생성하는 비모수적 다변량 밀도 추정 방법을 제안한다. 밀도 함수의 rich한 클래스에 대해 수렴 속도가 차원에 의존하지 않음을 입증하여 차원의 저주에 대한 내성을 시사하며, 변수 선택과 공간 적응으로의 확장을 통해 명시적인 수렴 속도를 도출한다.

ABSTRACT

Density estimation is one of the most fundamental problems in statistical inference. Here, we introduce a non-parametric approach to multivariate density estimation. The estimators are piecewise constant density functions supported by binary partitions. The partition of the sample space is learned by maximizing the likelihood of the corresponding histogram on that partition. We analyze the convergence rate of these maximum likelihood estimators and reach a conclusion that for a relatively rich class of density functions the rate does not directly depend on the dimension. This suggests that, under certain conditions, this method is immune to the curse of dimensionality. We also apply this method to variable selection and spatial adaptation cases, and calculate the explicit convergence rates respectively. These results help us further understand under what circumstances, and for which density classes, would this method perform well.

연구 동기 및 목표

• 차원의 저주를 피하는 비모수적 다변량 밀도 추정 방법을 개발하기 위해.
• 적응형 이진 분할 기반 최대우도 추정기의 수렴 속도를 분석하기 위해.
• 해당 방법을 변수 선택과 공간 적응으로 확장하고, 명시적인 수렴 속도를 도출하기 위해.
• 특정 밀도 함수 클래스에 대해 이 방법이 잘 작동하는 조건을 규명하기 위해.

제안 방법

• 방법은 표본 공간의 이진 분할 위에서 조각별 일정한 밀도 추정기를 구성한다.
• 분할은 데이터에 대한 해당 히스토그램의 우도를 극대화함으로써 선택된다.
• 이 접근법은 데이터 기반의 분할 정밀화를 통해 국소 밀도 특징에 적응한다.
• 수렴 속도는 우도 기반 분할 과정의 이론적 분석을 통해 유도된다.
• 관련 차원을 선택하여 변수 선택으로 확장되며, 국소 분할 정밀화를 允허하여 공간 적응이 가능하다.
• 각 확장 사례에 대해 수렴 속도의 이론적 경계가 유도된다.

실험 결과

연구 질문

• RQ1 적응형 분할 기반 비모수적 밀도 추정기의 수렴 속도가 차원에 의존하지 않을 수 있는가?
• RQ2 우도 기반 분할 전략은 고차원 설정에서 추정 정확도에 어떤 영향을 미치는가?
• RQ3 밀도 추정에서 변수 선택에 적용할 경우 수렴 속도는 어떻게 되는가?
• RQ4 국소 분할을 통한 공간 적응은 수렴 속도에 어떤 영향을 미치는가?
• RQ5 어떤 밀도 함수 클래스에서 이 방법이 가장 잘 작동하는가?

주요 결과

• 적응형 분할 기반 최대우도 추정기의 수렴 속도는 밀도 함수의 rich한 클래스에 대해 차원에 직접적으로 의존하지 않는다.
• 기본 밀도에 대한 일정한 정규성 조건 하에서, 이 방법은 차원의 저주에 대한 내성을 보인다.
• 해당 방법의 변수 선택 변형에 대해 명시적인 수렴 속도가 도출되었다.
• 공간 적응 확장에 대해서도 명시적인 수렴 속도가 확립되었다.
• 결과적으로, 국소적 구조 또는 낮은 내재 차원성을 가진 밀도 함수에 대해 이 방법은 잘 작동함을 시사한다.