[논문 리뷰] A likelihood approach to nonparametric estimation of a singular distribution using deep generative models

Minwoo Chae, Dongha Kim외 2명|arXiv (Cornell University)|2021. 05. 09.

Bayesian Methods and Mixture Models참고 문헌 76인용 수 13

한 줄 요약

이 논문은 고차원 공간 내에서 저차원 다양체 위에 지원되는 특이 분포를 일관적으로 추정하기 위해 데이터 편향과 함께 가능도 기반 접근법을 제안한다. 관측 데이터를 편향시킴으로써, 이 방법은 딥 생성 모델을 통한 일관된 비모수적 추정을 가능하게 하여 최적의 수렴 속도를 달성하고, 다각형, 매끄러운 밀도, 그리고 제품 분포와 같은 구조적 분포에 대해 차원의 극복을 피한다.

ABSTRACT

We investigate statistical properties of a likelihood approach to nonparametric estimation of a singular distribution using deep generative models. More specifically, a deep generative model is used to model high-dimensional data that are assumed to concentrate around some low-dimensional structure. Estimating the distribution supported on this low-dimensional structure, such as a low-dimensional manifold, is challenging due to its singularity with respect to the Lebesgue measure in the ambient space. In the considered model, a usual likelihood approach can fail to estimate the target distribution consistently due to the singularity. We prove that a novel and effective solution exists by perturbing the data with an instance noise, which leads to consistent estimation of the underlying distribution with desirable convergence rates. We also characterize the class of distributions that can be efficiently estimated via deep generative models. This class is sufficiently general to contain various structured distributions such as product distributions, classically smooth distributions and distributions supported on a low-dimensional manifold. Our analysis provides some insights on how deep generative models can avoid the curse of dimensionality for nonparametric distribution estimation. We conduct a thorough simulation study and real data analysis to empirically demonstrate that the proposed data perturbation technique improves the estimation performance significantly.

연구 동기 및 목표

• 고차원 환경 공간 내에서 저차원 다양체 위에 지원되는 특이 분포에 대한 일관된 비모수적 추정 문제를 다루기.
• 레베그 측도에 대한 목표 분포의 특이성으로 인해 표준 가능도 방법이 실패하는 문제를 해결하기.
• 비선형 요인 모델과 가감성 노이즈를 가진 프레임워크 하에서 딥 생성 모델을 사용한 통계적으로 일관된 추정 프레임워크 개발하기.
• 딥 생성 모델을 통해 효율적으로 추정할 수 있는 분포의 클래스를 규명하기, 이는 매끄러운 분포, 제품 분포, 다양체 구조 분포 포함.
• 인스턴스 노이즈를 사용한 데이터 편향이 최적의 수렴 속도를 달성하고, 분포 추정에서 차원의 극복을 피할 수 있음을 보여주기.

제안 방법

• 고차원 관측치를 ${\bf X} = {\bf f}({\bf Z}) + \bm{\epsilon}$ 로 모델링하며, 여기서 ${\bf f}$ 는 딥 신경망, ${\bf Z}$ 는 잠재 변수, $\bm{\epsilon} \sim \mathcal{N}(0, \sigma^2 I_D)$ 이다.
• 관측 데이터에 인스턴스별 노이즈 편향을 도입하여 특이성을 해소하고 일관된 최대가능도 추정을 가능하게 한다.
• 진짜 분포 $Q_*$ 를 추정하기 위해 딥 신경망 생성자 클래스 위에서 시브 최대가능도 추정기(Sieve MLE)를 사용한다.
• 편향된 가능도 접근법이 진짜 생성자와 노이즈 수준의 부드러움에 따라 $Q_*$ 의 일관된 추정을 제공함을 증명한다.
• 진짜 생성자의 부드러움과 노이즈 분산에 따라 워샤르 스탠드 거리 $W_1(Q_*, Q)$ 의 이론적 경계를 설정한다.
• 진짜 생성자의 부드러움과 도함수의 유계성 등의 정규성 조건 하에서 추정 오차의 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 고차원 공간 내에서 저차원 다양체 위에 지원되는 특이 분포에 대해 표준 가능도 접근법이 일관되게 추정할 수 있는가?
• RQ2 특이 목표 분포가 존재하는 상황에서 인스턴스 노이즈를 사용한 데이터 편향이 딥 생성 모델의 최대가능도 추정의 일관성을 복원하는가?
• RQ3 제안된 편향 프레임워크 하에서 딥 생성 모델을 사용해 효율적으로 추정할 수 있는 분포의 클래스는 무엇인가?
• RQ4 이 편향 가능도 접근법을 사용해 기저 분포를 추정할 때의 최적 수렴 속도는 무엇인가?
• RQ5 제안된 방법은 저차원 다양체 위에서 비모수적 분포 추정에서 차원의 극복을 어떻게 피하는가?

주요 결과

• 표준 가능도 접근법은 환경 공간 내에서 레베그 측도에 대한 특이성으로 인해 특이 분포를 일관되게 추정하지 못한다.
• 인스턴스 노이즈를 사용한 데이터 편향은 진짜 분포 $Q_*$ 의 일관된 추정을 가능하게 하며, 미약한 정규성 조건 하에서 편향된 가능도가 일관성을 확보한다.
• 제안된 방법은 수렴 속도가 $n^{-\frac{\beta_* - t_* \alpha}{2\beta_* + t_*}} (\log n)^{3/2}$ 의 순서를 가지며, 여기서 $\beta_*$ 와 $t_*$ 는 진짜 생성자의 부드러움과 차원 파라미터를 나타낸다.
• 노이즈 수준 $\sigma_*$ 가 최적 선택될 경우 수렴 속도는 $n^{-\frac{\beta_*}{2(\beta_* + t_*)}} (\log n)^{3/2}$ 로 향상되며, 이는 주어진 부드러움 가정 하에서 최적이 된다.
• 추정 가능한 분포의 클래스는 매끄러운 밀도, 제품 분포, 저차원 다양체 위에 지원되는 분포를 포함하며, 광범위한 적용 가능성을 보여준다.
• 시뮬레이션과 실데이터 분석의 실험 결과는 제안된 편향 기법이 표준 가능도 방법 대비 추정 성능을 크게 향상시킴을 확인한다.