[논문 리뷰] Higher Order Estimating Equations for High-dimensional Models

James M. Robins, Lingling Li외 3명|PubMed|2015. 12. 07.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 고차원 또는 비정규 모델에서 표준 √n 속도 추정이 실패하는 상황에서, 고차 영향 함수를 기반으로 한 U-통계량을 사용하여 고차 추정 방정식을 제안한다. 이 방법은 비선형적이고 고차의 추정 함수를 통해 편향과 분산을 균형 잡음으로써 도전적인 세미모수적 설정에서 최적 수렴 속도를 달성한다.

ABSTRACT

We introduce a new method of estimation of parameters in semi-parametric and nonparametric models. The method is based on estimating equations that are <i>U</i>-statistics in the observations. The <i>U</i>-statistics are based on higher order influence functions that extend ordinary linear influence functions of the parameter of interest, and represent higher derivatives of this parameter. For parameters for which the representation cannot be perfect the method leads to a bias-variance trade-off, and results in estimators that converge at a slower than <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:msqrt><mml:mi>n</mml:mi></mml:msqrt> <mml:mtext>-rate</mml:mtext></mml:math> . In a number of examples the resulting rate can be shown to be optimal. We are particularly interested in estimating parameters in models with a nuisance parameter of high dimension or low regularity, where the parameter of interest cannot be estimated at <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:msqrt><mml:mi>n</mml:mi></mml:msqrt> <mml:mtext>-rate</mml:mtext></mml:math> , but we also consider efficient <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:msqrt><mml:mi>n</mml:mi></mml:msqrt> <mml:mtext>-estimation</mml:mtext></mml:math> using novel nonlinear estimators. The general approach is applied in detail to the example of estimating a mean response when the response is not always observed.

연구 동기 및 목표

• 표준 √n 속도 추정기로는 실현 불가능한 고차원 또는 비정규 세미모수적 모델에서 기능적 값을 추정하기 위한 추정 방법을 개발하는 것.
• 낮은 정규성 또는 고차원의 부수적 파라미터를 가진 모델에서 편향-분산 트레이드오프를 다루는 것.
• 고전적 추정 방정식 이론을 선형 영향 함수를 초월하여 기능의 고차 도함수로 확장하는 것.
• 모델의 복잡성 또는 비정규성로 인해 √n 속도로는 관심 파라미터를 추정할 수 없는 설정에서 최적 수렴 속도를 달성하는 것.

제안 방법

• 관심 기능의 고차 도함수를 나타내는 고차 영향 함수로부터 구성된 U-통계량을 사용한다.
• 선형 추정 방정식을 비선형적 U-통계량 형태로 대체하여 비정규 모델에서 편향을 더 잘 통제한다.
• 형태 $\hat{\chi}_n = \chi(\hat{p}_n) + \mathbb{U}_n \chi_{\hat{p}_n} $ 의 일단 추정기(One-step estimator)를 적용한다. 여기서 $\mathbb{U}_n$ 은 1보다 큰 차수의 U-통계량이다.
• 추정 함수의 2차 모멘트를 유계로 만들기 위해 투영 연산자와 탈기능 U-통계량 분해를 사용한다.
• 고차 추정 함수의 분산을 통제하기 위해 조건부 기대값과 직교성 논리를 활용한다.
• 접선 공간과 영향 함수 이론을 적용하여 기능의 고차 근사값을 도출하고, 이로써 편향 보정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비정규적이고 고차원적인 모델에서 최적 수렴 속도를 달성하는 추정기의 구성에 고차 영향 함수를 사용할 수 있는가?
• RQ2 1보다 큰 차수의 U-통계량은 세미모수적 추정에서 편향과 분산을 어떻게 균형 잡는가?
• RQ3 모델이 낮은 정규성 또는 고차원의 부수적 파라미터를 가질 경우 기능을 추정할 때 최적 수렴 속도는 무엇인가?
• RQ4 제안된 방법이 표준 √n 속도 추정기보다 더 빠른 수렴을 달성하는 설정은 어떤가?
• RQ5 비선형적이고 고차의 추정 함수를 사용하여 추정 방정식의 편향 항을 어떻게 통제할 수 있는가?

주요 결과

• 제안된 고차 추정 방정식은 비정규 모델에서 √n 보다 느린 수렴 속도를 보이지만, 여러 예시에서 이 속도가 최적이 됨을 입증하였다.
• 표준 √n 속도 추정이 실패하는 고차원 또는 비정규 부수적 파라미터를 가진 모델을 성공적으로 다룰 수 있었다.
• 고차 영향 함수를 기반으로 한 U-통계량을 사용함으로써 선형 추정 방정식에 비해 향상된 편향-분산 트레이드오프를 가진 추정기를 얻을 수 있었다.
• 직교성과 투영 커널 노름을 사용하여 추정 함수의 2차 모멘트 유계를 도출하였으며, 이로 인해 $O(R \varepsilon_n^4)$ 오차 유계를 도출하였다.
• 이 방법은 결측 데이터 하에서 평균 반응을 추정하는 데 적용 가능하며, 세미모수 통계학의 핵심 예시이다.
• 보충 자료의 이론적 결과는 $m > 3$ 인 경우 추정기의 속도 최적성을 확인하였으며, 주 정리의 고차 사례로의 확장을 가능하게 하였다.