[논문 리뷰] Adaptive pointwise estimation of conditional density function

Karine Bertin, Claire Lacour외 1명|arXiv (Cornell University)|2013. 12. 28.

Statistical Methods and Inference참고 문헌 32인용 수 5

한 줄 요약

이 논문은 다변량 설정에서 $X=x$ 조건 하에서 $Y$의 조건부 밀도를 추정하기 위해 커널 규칙과 투영 방법을 사용하는 적응형, 데이터 기반 추정기들을 제안하며, Goldenshluger-Lepski 방법론을 통해 조정한다. 이는 비균일 허더 조건 구역에서 최적의 최대 위험률을 확립하고, 수렴 속도에 대한 $f_X(x)$의 영향을 정량화하며, 최소한의 가정 하에 오라클 부등식과 이론적 최적성을 달성한다.

ABSTRACT

In this paper we consider the problem of estimating $f$, the conditional density of $Y$ given $X$, by using an independent sample distributed as $(X,Y)$ in the multivariate setting. We consider the estimation of $f(x,.)$ where $x$ is a fixed point. We define two different procedures of estimation, the first one using kernel rules, the second one inspired from projection methods. Both adapted estimators are tuned by using the Goldenshluger and Lepski methodology. After deriving lower bounds, we show that these procedures satisfy oracle inequalities and are optimal from the minimax point of view on anisotropic H{ö}lder balls. Furthermore, our results allow us to measure precisely the influence of $\mathrm{f}\_X(x)$ on rates of convergence, where $\mathrm{f}\_X$ is the density of $X$. Finally, some simulations illustrate the good behavior of our tuned estimates in practice.

연구 동기 및 목표

• 조건부 밀도 $f(x, \cdot)$의 고정된 점 $x$에서 부드러움에 대한 사전 지식이 없이도 완전히 데이터 기반의 적응형 추정기를 개발하는 것.
• 이론적으로 타당하고 계산적으로 실현 가능한 방식으로 하이퍼파rameter를 조정하는 데 도전하는 것.
• 비균일 허더 부드러움 가정 하에서 조건부 밀도 추정의 최소 최대 수렴 속도를 유도하는 것.
• 모수 밀도 $f_X(x)$가 추정 정확도에 미치는 영향을 정량화하는 것, 특히 $f_X(x)$가 작거나 0에 가까울 경우에 대해.
• 실용적 구현 가능성을 데이터 기반 선택 규칙을 통해 보장하면서도, 이론적 보증(오라클 부등식 및 최소 최대 최적성)을 제공하는 것.

제안 방법

• 조건부 밀도 $f(x, \cdot)$를 위한 두 가지 다른 추정 절차를 제안: 커널 기반 추정기와 투영 기반 추정기.
• Goldenshluger-Lepski 방법론을 사용하여 데이터 기반 선택 규칙을 통해 대역폭과 투영 차원을 자동으로 조정한다.
• 비균일 허더 공간을 사용하여 다변량 설정에서 다양한 방향으로의 비균일한 부드러움을 모델링한다.
• 조건부 밀도를 연합 밀도와 모수 밀도 추정기의 비율로 분석하며, $f_X(x)$에 의존하는 편향과 분산의 상호 작용을 신중하게 다룬다.
• 비점근적 위험 분석과 최소 최대 이론을 조합하여, 부드러움 클래스 전체에 걸쳐 균일하게 성립하는 오라클 부등식을 유도한다.
• 진정한 부드러움을 알지 못하더라도 다양한 局부 부드러움 수준에서 최적의 성능을 보장하는 새로운 적응 전략을 적용한다.

실험 결과

연구 질문

• RQ1 부드러움에 대한 사전 지식이 없이도 최적의 최대 위험률을 달성하는 적응형, 데이터 기반 추정기를 조건부 밀도 추정에 구축할 수 있는가?
• RQ2 모수 밀도 $f_X(x)$는 조건부 밀도 추정기의 수렴 속도에 어떻게 영향을 미치며, 이러한 영향은 정확히 정량화할 수 있는가?
• RQ3 Goldenshluger-Lepski 방법은 조건부 밀도 추정에 효과적으로 적용될 수 있으며, 교차 검증 없이 최적의 조정을 달성할 수 있는가?
• RQ4 제안된 커널 및 투영 추정기는 비균일 허더 구역에서 오라클 부등식을 만족하고 최소 최대 최적성을 달성하는가?
• RQ5 유한 표본 설정에서, 특히 $f_X(x)$가 작을 경우 추정기는 어떻게 성능을 발휘하는가?

주요 결과

• 커널 추정기와 투영 추정기는 비균일 허더 구역에서 최적의 최대 수렴 속도를 달성하며, 수렴 속도가 $f_X(x)$에 명시적으로 의존한다.
• $f_X(x)$가 수렴 속도에 미치는 영향은 정확히 정량화되어 있으며, $f_X(x)$가 작을수록 속도가 떨어지며, 이 떨어짐은 피할 수 없고 이론적으로 특징화되어 있다.
• 예제 1에서 $f_X$가 알려진 경우, 커널 추정기는 $n=1000$일 때 $\eta=2$이면 평균 제곱오차(MSE)가 0.010이며, $\eta=3$이면 0.006이다.
• 예제 2에서 $f_X$가 알려지지 않은 경우, 투영 추정기는 $n=1000$일 때 $\eta=1$이면 MSE가 0.004이며, $\eta=3$이면 0.005이다.
• 예제 3에서 커널 추정기는 $x=1$이고 $\eta=3$일 때 $n=1000$에서 MSE가 0.006이며, 투영 추정기는 동일한 점과 표본 크기에서 0.004이다.
• 시뮬레이션 결과는 투영 추정기가 모든 예제와 표본 크기에서 MSE 측면에서 커널 추정기를 일관되게 능가하며, 특히 $f_X(x)$가 작거나 $\eta$가 클 경우에 더욱 두드러진다.