[논문 리뷰] On rate optimal local estimation in nonparametric instrumental regression

Christoph Breunig, Jan Johannes|ArXiv.org|2009. 02. 12.

Statistical Methods and Inference참고 문헌 39인용 수 4

한 줄 요약

이 논문은 차원 감소와 임계값 처리를 조합하여 비모수적 도구 변수 회귀에서 선형 함수형에 대한 최적의 국소 추정 방법을 제안한다. 구조 함수와 함수형 표현자에 대한 타원형 부드러움 조건 하에서 최소 최대 최적 수렴 속도를 확립하며, 고전적인 소볼레프 유형의 부드러움 조건 하에서는 파rametric 수렴 속도를 달성한다.

ABSTRACT

We consider the problem of estimating the value of a linear functional in nonparametric instrumental regression, where in the presence of an instrument W a response Y is modeled in dependence of an endogenous explanatory variable Z. The proposed estimator is based on dimension reduction and additional thresholding. The minimax optimal rate of convergence of the estimator is derived assuming that the structural function and the representer of the linear functional belong to some ellipsoids which are in a certain sense linked to the conditional expectation operator of Z given W. We illustrate these results by considering classical smoothness assumptions.

연구 동기 및 목표

• 비모수적 도구 변수 회귀에 내재된 악조건의 역문제를 다루기 위해, 직접적인 구조 함수 φ의 추정이 낮은 수렴 속도를 보이는 데 기인한다.
• 구조 함수 φ의 악조건의 성격에도 불구하고, 선형 함수형 ℓh(φ) = E[h(Z)φ(Z)]의 값이 더 빠른, 파arametric 수렴 속도로 추정될 수 있는지 탐구한다.
• φ와 함수형 표현자 h에 대한 부드러움 제약 조건 하에서 ℓh(φ)를 추정하는 데 있어 최소 최대 최적 수렴 속도를 유도한다.
• 고전적인 부드러움 가정 하에서 상하한이 일치하는 이론적 최적성을 제안된 추정자에 대해 유도함으로써 그 이론적 최적성을 확립한다.

제안 방법

• 두 단계 추정자 제안: 먼저, 구조 함수 φ를 m개의 기저 함수 e1,…,em가 생성하는 유한차원 부분공간에 투영함으로써 무한차원 문제를 유한차원 문제로 축소한다.
• 조건부 모멘트 제약 조건 E[Y|W] = E[φ(Z)|W]를 이용하여 갈레르킨 유형의 접근 방식으로 φ의 기저 전개 계수를 추정한다.
• 역문제의 조건수를 제어하고 해를 안정화하기 위해 추정된 계수에 임계값 처리를 적용한다.
• 편향과 분산을 균형 잡는 데이터 기반의 차원 m 선택을 통해 최적의 수렴 속도를 도출한다.
• 조건부 기대값 오퍼레이터 E[Z|W]의 고유구조 분석을 통해 최소 최대 위험을 유도하며, φ와 h의 부드러움을 고유값의 감쇠와 연결한다.
• 고차원 설정에서 경험 모멘트가 기대값에서 벗어나지 않도록 제어하기 위해 브레인스타인 유형의 농도 부등식을 사용한다.

실험 결과

연구 질문

• RQ1 악조건의 역문제 성격에도 불구하고 비모수적 도구 변수 회귀에서 선형 함수형 ℓh(φ)의 값이 파arametric 수렴 속도로 추정될 수 있는가?
• RQ2 φ와 h가 조건부 기대값 오퍼레이터 E[Z|W]와 연결된 타원체에 속할 때, ℓh(φ)를 추정하는 데 있어 최소 최대 최적 수렴 속도는 무엇인가?
• RQ3 고전적인 부드러움 가정(예: 소볼레프 공간)은 국소 추정에 대해 달성 가능한 수렴 속도에 어떤 영향을 미치는가?
• RQ4 제안된 추정자는 최적의 수렴 속도를 갖는가? 그리고 표준 부드러움 조건 하에서 상하한이 일치하는가?
• RQ5 도구 변수의 부드러움과 조건부 기대값 오퍼레이터의 고유구조는 추정 속도에 어떤 영향을 미치는가?

주요 결과

• 제안된 추정자는 ℓh(φ) 추정에 대해 최소 최대 최적 수렴 속도를 달성하며, 이 속도는 소볼레프 유형 타원체로 측정된 φ와 h의 부드러움에 따라 달라진다.
• 다항식 고유값 감쇠(γj ∼ j²ᵖ) 조건 하에서는 최적 속도가 n⁻⁽ᵖ⁺ˢ⁾⁄⁽ᵖ⁺ᵃ⁾이며, 여기서 a는 도구 변수의 강도를 조절하고 s는 표현자 h의 부드러움을 측정한다.
• 지수 고유값 감쇠(γj ∼ exp(j²ᵃ)) 조건 하에서는 최적 속도가 (log n)⁽ᵖ⁻ˢ⁾⁄ᵃ이며, 이는 초부드러운 도구 변수 조건 하에서 로그 수렴을 반영한다.
• 최적 차원 m*는 다항식 케이스에서는 m* ∼ n¹⁄⁽²ᵖ⁺²ᵃ⁾로, 지수 케이스에서는 m* ∼ (log n)¹⁄⁽²ᵃ⁾로 적응적으로 선택되며, 편향과 분산을 균형 잡는다.
• 평균 제곱오차에 대한 상한이 표준 부드러움 가정 하에서 도출된 하한과 일치하므로 추정자의 수렴 속도 최적성은 확인된다.
• 구조 함수 φ와 표현자 h가 도구 변수의 부드러움에 비해 충분히 부드럽다면, φ 자체가 그러한 속도로 추정될 수는 없음에도 불구하고 이 방법은 파arametric 수렴 속도를 달성한다.