[논문 리뷰] Some new ideas in nonparametric estimation

Oleg Lepski|arXiv (Cornell University)|2016. 03. 12.

Advanced Statistical Methods and Models참고 문헌 2인용 수 4

한 줄 요약

이 논문은 공통의 매개수 공간을 통해 더 단순한 추정 문제(문제 A)의 해를 이용해 더 복잡한 문제(문제 B)에 대해 적응형 추정기(adaptive estimator)를 구성하는 새로운 데이터 기반 선택 규칙을 제안한다. 주요 기여는 최소한의 가정 하에 문제 B의 선택된 추정기의 일반적인 오라클 부등식을 도출한 것으로, 밀도 추정 및 디컨볼루션과 같은 비모수 모형에서 적응형 추정이 가능하게 한다.

ABSTRACT

In the framework of an abstract statistical model we discuss how to use the solution of one estimation problem ({\it Problem A}) in order to construct an estimator in another, completely different, {\it Problem B}. As a solution of {\it Problem A} we understand a data-driven selection from a given family of estimators $\mathbf{A}(\mH)=\big\{\widehat{A}_\mh, \mh\in\mH\big\}$ and establishing for the selected estimator so-called oracle inequality. %parameterized by some se t$\mH$. If $\hat{\mh}\in\mH$ is the selected parameter and $\mathbf{B}(\mH)=\big\{\widehat{B}_\mh, \mh\in\mH\big\}$ is an estimator's collection built in {\it Problem B} we suggest to use the estimator $\widehat{B}_{\hat{\mh}}$. We present very general selection rule led to selector $\hat{\mh}$ and find conditions under which the estimator $\widehat{B}_{\hat{\mh}}$ is reasonable. Our approach is illustrated by several examples related to adaptive estimation.

연구 동기 및 목표

• 더 단순한 추정 문제(문제 A)의 해를 재사용하여 더 복잡하고 관련이 없는 문제 B에 대한 추정기(estimator)를 구성하는 일반적인 프레임워크를 개발하는 것.
• 두 문제의 성격이나 손실 함수가 다를 경우에도 문제 A의 데이터 기반 선택자(data-driven selector)가 문제 B에서 타당한 추정기를 생성할 수 있는 조건을 설정하는 것.
• 선택된 추정기 $\widehat{B}_{\hat{\mathfrak{h}}}$에 대해 오라클 부등식을 도출하여, 기저의 매끄러움 정도를 사전에 알지 못하더라도 적응형 성능을 보장하는 것.
• 한 문제의 해를 다른 문제를 해결하는 데 활용함으로써 기존의 적응형 추정 방법들을 통합하고 일반화하는 것.
• 밀도 추정 및 일반화된 디컨볼루션과 같은 비모수 모형, 특히 다변량 설정에서의 적용 가능성을 보여주는 것.

제안 방법

• 두 추정 문제(A 및 B)가 공통의 매개수 집합 $\mathfrak{H}$를 통해 연결되는 통합된 통계 모형을 도입하여 선택 규칙의 이전을 가능하게 한다.
• 문제 A의 해를 기반으로 하는 데이터 기반 선택자 $\hat{\mathfrak{h}}$를 제안하며, 편향과 복잡성 사이의 트레이드오���을 최소화하는 일반적인 선택 규칙을 사용한다.
• 문제 B의 선택된 추정기 $\widehat{B}_{\hat{\mathfrak{h}}}$에 대해 일반적인 오라클 부등식을 확립하여, 그 위험(risk)이 $\mathfrak{H}$ 상에서 최적의 위험에 대해 일정한 요인 내에 있음을 보장한다.
• 상위 함수 기법(upper function techniques)과 메트릭 엔트로피 경계(metric entropy bounds)를 사용하여 선택된 추정기의 확률적 행동을 제어하며, 특히 다변량 비모수 모형에서 효과적으로 작용한다.
• 밀도 추정 및 일반화된 디컨볼루션과 같은 구체적인 모형에 대해, 기능적 부등식을 통해 두 문제의 편향과 분산 항을 연결함으로써 방법을 적용한다.
• 노름 등가성(norm equivalence)과 얀의 부등식(Young’s inequality)을 활용하여 $L_p$-노름의 도함수를 원래 함수의 매끄러움 정도로 표현함으로써 위험 경계의 이전을 가능하게 한다.

실험 결과

연구 질문

• RQ1 더 단순한 추정 문제(문제 A)의 데이터 기반 선택자가 완전히 다른 더 복잡한 문제(문제 B)에서 타당한 추정기를 구성할 수 있는 조건는 무엇인가?
• RQ2 문제 B의 선택된 추정기 $\widehat{B}_{\hat{\mathfrak{h}}}$는 문제 A와 유사한 오라클 부등식을 달성할 수 있는가?
• RQ3 밀도 추정 문제의 해를 어떻게 활용하여 도함수 추정 또는 기능 추정에 대해 적응형 추정기를 구성할 수 있는가?
• RQ4 문제 A에서 문제 B로 적응 성질을 이전할 수 있도록 허용하는 매개수 공간과 모형 구조에 대한 최소한의 가정은 무엇인가?
• RQ5 다변량 비모수 모형에서 편향, 분산, 매끄러움 간의 상호작용을 어떻게 수식화하여 이전된 문제에서 최적 수렴 속도를 확보할 수 있는가?

주요 결과

• 선택된 추정기 $\widehat{B}_{\hat{\mathfrak{h}}}$는 모든 $f \in \mathbb{F}$에 대해 $\mathcal{R}_B[\widehat{B}_{\hat{\mathfrak{h}}}, f] \leq \inf_{\mathfrak{h} \in \mathfrak{H}} \mathcal{A}_\ell^{(n)}(f, \mathfrak{h}) + c r_n$ 형태의 오라클 부등식을 만족하며, $r_n \to 0$ 이다.
• 이 방법은 일반화된 디컨볼루션 모형에서 최적 수렴 속도 $\varphi_n^{(\mathfrak{m})}(\mathbb{N}_{p,d}(\vec{\beta}, L) \cap \mathfrak{P}_p) \asymp n^{-\frac{(1-1/\omega)(1-1/(p\wedge 2))}{1+(1/\beta)(1-1/(p\wedge 2))}}$ 를 달성한다.
• 모든 $a > 0$ 에 대해 $\limsup_{n \to \infty} n^a \varkappa_n(\mathbb{F}_{\mathfrak{a}}) = 0$ 인 상위 함수 조건은 오라클 부등식의 타당성을 보장하는 데 충분하다.
• 다변량 밀도 모형에서 편향 항은 $\|K_{\vec{h}} \star f - f\|_p \leq \mathbf{c}_{26} \prod_{j=1}^d h_j^{-m_j} (n \prod_{j=1}^d h_j)^{\frac{1}{p\wedge 2}-1}$ 를 만족하며, 이는 문제 B에서 위험을 제어하는 데 사용된다.
• 선택된 추정기 $\widehat{B}_{\hat{\mathfrak{h}}}$는 알려지지 않은 기저 함수의 매끄러움 정도에 자동으로 적응함으로써 적응형 성능을 달성한다.
• 유도된 경계는 소보레프 유형의 매끄러움 클래스 하에서 $L_p$-노름에서 알려진 최소 최대 속도(minimax rates)와 정확히 일치하므로 날카로운 경계이다.