[논문 리뷰] Asymptotic Equivalence for Nonparametric Regression

Ion Grama, Michael Nussbaum|arXiv (Cornell University)|2024. 12. 19.

Statistical Methods and Inference참고 문헌 15인용 수 38

한 줄 요약

논문은 정규성 가정 하에 비가우시안 노이즈를 갖는 비모수 회귀 모델이 피셔 정보와 관련된 Gamma(\u0007) 함수의 분산 안정화 변환을 통해 가우시안 비모수 회귀 모델과 점근적으로 등가해진다고 보인다.

ABSTRACT

We consider a nonparametric model $\mathcal{E}^{n},$ generated by independent observations $X_{i},$ $i=1,...,n,$ with densities $p(x,θ_{i}),$ $i=1,...,n,$ the parameters of which $θ_{i}=f(i/n)\in Θ$ are driven by the values of an unknown function $f:[0,1] ightarrow Θ$ in a smoothness class. The main result of the paper is that, under regularity assumptions, this model can be approximated, in the sense of the Le Cam deficiency pseudodistance, by a nonparametric Gaussian shift model $Y_{i}=Γ(f(i/n))+\varepsilon _{i},$ where $\varepsilon_{1},...,\varepsilon _{n}$ are i.i.d. standard normal r.v.'s, the function $Γ(θ):Θ ightarrow \mathrm{R}$ satisfies $Γ^{\prime}(θ)=\sqrt{I(θ)}$ and $I(θ)$ is the Fisher information corresponding to the density $p(x,θ).$

연구 동기 및 목표

• 비가우시안 노이즈를 갖는 비모수 회귀 모델과 가우시안 시프트 모델 간의 점근 등가성 연구 동기를 제시한다.
• 일반 규칙성 프레임워크를 도입하고 점근 등가성을 보장하는 충분조건을 도출한다.
• 로컬에서 글로벌로의 글로벌라이제이션 전략을 제시하여 국소 가우시안 근사를 전체 비모수 모델로 확장한다.
• Gamma(\u0007) 및 함수 G를 파라메트릭 가족의 피셔 정보와 관련시킨다.
• 이론의 범위를 구체적인 예시(위치 모델 및 지수 가족 모델 포함)로 보여 준다.

제안 방법

• Hölder 구에서의 매끄러운 함수 f에 의해 주도되고 파라메트릭 밀도 p(x,\u000b)로 결정되는 비모수 모델을 형식화한다.
• 로컬 가우시안 근사:Y_i^n = h(i/n) + I(f(i/n))^{-1/2} \u000b_i, i.i.d. 정규분포의 잡음 \u000b_i에 대해 입증한다.
• Gamma'(\u000b)=sqrt(I(\u000b))인 Gamma(f(i/n)) + \u000b_i 형태의 가우시안 시프트 모델로의 전역 점근 등가를 보인다.
• 블록별 근사와 역사적 방법을 결합한 헝가리안 구성으로 likelihood 프로세스를 다루는 로컬-글로벌 글로벌라이제이션 스킴을 사용한다.
• 비모수와 가우시안 실험 간의 헬링거 거리 제어를 제공하는 일반 로컬 비모수 이론(LASE)을 개발한다.
• 정규성 가정(R1-R3) 및 성장 조건(G1-G2)을 적용하여 점근 등가를 보장한다.

실험 결과

연구 질문

• RQ1 비가우시안 노이즈를 갖는 비모수 회귀 모델이 샘플 크기가 증가함에 따라 가우시안 시프트 모델로 근사될 수 있는가?
• RQ2 밀도 p(x,\u000b)와 피셔 정보에 대한 어떤 규칙성 조건이 점근 등가성을 보장하는가?
• RQ3 분산 안정화 변환 Gamma가 이 등가성에서 피셔 정보와 어떤 관련이 있는가?
• RQ4 로컬 가우시안 근사를 시간 및 함수 공간에 걸쳐 전역화하여 글로벌 등가성을 얻을 수 있는가?
• RQ5 이론을 구체적으로 보여 주는 예들(예: 위치 모델, 지수 가족 모델)은 무엇인가?

주요 결과

• β > 1/2일 때, 밀도 p(x,f(t))를 갖는 비모수 모델이 Y_i = Gamma(f(i/n)) + ε_i 형태의 가우시안 시프트 모델과 점근적으로 등가이다.
• Gamma'(\u000b) = sqrt(I(\u000b))이며 여기서 I(\u000b)는 p(x,\u000b)의 피셔 정보이다.
• 로컬 가우시안 근사는 Hölder 계급 Sigma^β의 모든 f에 대해 균일하게 성립하며, 전체 비모수 클래스에 대해 전역화할 수 있다.
• 위치 모델에서 Gamma(θ) = \u000b로, 피셔 정보에 의해 스케일된 잡음을 갖는 간단한 가우시안 회귀를 얻는다.
• 지수 가족 및 Bernoulli, 가우시안 스케일, 포아송 예제들은 명시적 Gamma 매핑을 통해 점근 등가성의 범위를 보여 준다.
• 이 이론은 분산 안정화 변환이 가우시안 동등 모델을 확립하는 과정에서 자연스럽게 어떻게 나타나는지 설명한다.