[논문 리뷰] High-Dimensional Density Ratio Estimation with Extensions to Approximate Likelihood Computation

Rafael Izbicki, Ann B. Lee외 1명|arXiv (Cornell University)|2014. 04. 28.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 11

한 줄 요약

이 논문은 차원 수가 높은 밀도 비율 추정을 위해 커널 기반 연산자의 고유함수를 사용하는 스펙트럼 급수 추정기법을 제안한다. 이 방법은 명시적 차원 축소 없이도 데이터의 내재 기하학적 구조를 적응적으로 포착한다. 이 방법은 차원 수가 높고 밀도 함수가 알려져 있지 않은 추론 환경에서 정확한 우도 근사가 가능하며, 수렴 속도에 대한 이론적 보장과 복잡한 데이터에 대한 실험적 검증을 제공한다.

ABSTRACT

The ratio between two probability density functions is an important component of various tasks, including selection bias correction, novelty detection and classification. Recently, several estimators of this ratio have been proposed. Most of these methods fail if the sample space is high-dimensional, and hence require a dimension reduction step, the result of which can be a significant loss of information. Here we propose a simple-to-implement, fully nonparametric density ratio estimator that expands the ratio in terms of the eigenfunctions of a kernel-based operator; these functions reflect the underlying geometry of the data (e.g., submanifold structure), often leading to better estimates without an explicit dimension reduction step. We show how our general framework can be extended to address another important problem, the estimation of a likelihood function in situations where that function cannot be well-approximated by an analytical form. One is often faced with this situation when performing statistical inference with data from the sciences, due the complexity of the data and of the processes that generated those data. We emphasize applications where using existing likelihood-free methods of inference would be challenging due to the high dimensionality of the sample space, but where our spectral series method yields a reasonable estimate of the likelihood function. We provide theoretical guarantees and illustrate the effectiveness of our proposed method with numerical experiments.

연구 동기 및 목표

• 차원 수가 높은 데이터에서 기하학적 곡률 문제로 인해 전통적 방법이 실패하는 밀도 비율 추정의 과제를 해결한다.
• 명시적 차원 축소가 필요로 하는 기존 방법의 한계를 극복하여 정보 손실을 최소화한다.
• 내재된 저차원 구조를 활용하는 비모수적이고 기하학적 적응형 추정기법을 개발한다.
• 해석적 형태가 존재하지 않는 복잡한 과학적 모델에 적용 가능한 우도 함수 근사 프레임워크를 확장한다.
• 이론적 수렴 속도 보장을 제공하고, 교차검증 및 샘플 외 확장 기법을 통한 실용적 구현을 제시한다.

제안 방법

• 밀도 비율 $\beta(\mathbf{x}) = f(\mathbf{x})/g(\mathbf{x})$ 를 커널 기반 적분 연산자 $\mathbf{K}_{\mathbf{x}}$ 의 고유함수 $\psi_j$ 에 대해 전개하며, 이 고유함수들은 기저 데이터 분포 $G$ 에 대해 정규직교이다.
• 고유함수를 데이터의 부분다양체 기하학적 구조에 적응된 푸리에 유사 기저로 사용하여, 명시적 차원 축소 없이도 매끄러운 근사가 가능하다.
• 추정기법을 자르기 기반 스펙트럼 급수 $\widehat{\beta}_J(\mathbf{x}) = \sum_{j=1}^J \hat{c}_j \psi_j(\mathbf{x})$ 로 설정하며, 계수 $\hat{c}_j$ 는 최소제곱 방법으로 데이터로부터 추정한다.
• 교차검증을 통해 자르기 수준 $J$ 를 선택하여 최적의 편향-분산 균형을 확보한다.
• 우도 근사에 응용하기 위해 우도를 $\mathcal{L}(\mathbf{x};\theta) = f(\mathbf{x}|\theta)/g(\mathbf{x})$ 로 재정의함으로써 문제를 밀도 비율 추정으로 환원한다.
• $\mathbf{x}$ 와 $\theta$ 공간에서 별개의 커널과 고유함수 $\psi_j$ 및 $\phi_i$ 를 사용하여 별도의 스펙트럼 전개를 수행함으로써 공동 우도 표면을 모델링한다.

실험 결과

연구 질문

• RQ1 명시적 차원 축소 없이도 고차원 환경에서 잘 작동하는 비모수적 밀도 비율 추정기법을 개발할 수 있는가?
• RQ2 고차원 데이터의 내재 기하학적 구조(예: 부분다양체 구조)는 어떻게 활용하여 밀도 비율 추정을 향상시킬 수 있는가?
• RQ3 이 스펙트럼 급수 접근법은 복잡한 과학적 모델의 우도 자유 추론에서 얼마나 정확한 우도 근사가 가능한가?
• RQ4 기본적인 정규성 조건 하에서 제안된 스펙트럼 급수 추정기의 이론적 수렴 속도는 무엇인가?
• RQ5 커널 선택, 고유값 감쇠, 고유값 간격 구조에 따라 이 방법의 성능은 어떻게 영향을 받는가?

주요 결과

• 정규성 조건 하에서 스펙트럼 급수 추정기 $\widehat{\beta}_J(\mathbf{x})$ 는 수렴 속도 $O_P(n^{-2\alpha/(8\alpha+3)})$ 를 달성하며, 여기서 $\alpha > 1/2$ 는 고유값 감쇠 $\lambda_J \asymp J^{-2\alpha}$ 를 제어한다.
• 추정기의 오차는 $J \cdot \left[ O_P(1/n_F) + O_P(1/(\lambda_J \Delta_J^2 n_G)) \right] + c_{K_{\mathbf{x}}} O(\lambda_J) $ 로 유계이다. 여기서 $\Delta_J = \min_{1\leq j\leq J} |\lambda_j - \lambda_{j+1}|$ 이다.
• 더 매끄러운 함수(작은 $c_{K_{\mathbf{x}}}$) 는 더 낮은 편향을 유도하며, 고유함수 기저를 통해 데이터의 내재 차원 수에 적응한다.
• 이 방법은 샘플 외 확장이 가능하고, 일부 RKHS 기반 방법과 달리 교차검증을 통한 체계적 튜닝이 가능하다.
• 우도 근사 프레임워크는 $\mathcal{L}(\mathbf{x};\theta) = f(\mathbf{x}|\theta)/g(\mathbf{x})$ 로 재정의되며, 사후분포의 형태를 유지하고 최대우도추정 및 베이지안 추론을 가능하게 한다.
• 공동 우도 추정기 $\widehat{\mathcal{L}}_{I,J}$ 는 $\mathbf{x}$- 및 $\theta$-공간의 고유함수를 모두 포함하는 유사한 오차 유계를 가지며, 유사한 수렴 속도를 보인다.