[논문 리뷰] Debiased Inference of Average Partial Effects in Single-Index Models

David A. Hirshberg, Stefan Wager|arXiv (Cornell University)|2018. 11. 06.

Statistical Methods and Inference참고 문헌 16인용 수 9

한 줄 요약

이 논문은 고차원 단일색인 모형에서 평균 부분 효과에 대한 편향 보정 추론 방법을 제안하며, beta-min 조건을 필요로 하지 않고 √n-일致성과 점근 정규성을 달성한다. 특징 간 상관관계를 명시적으로 모델링하고 Javanmard & Montanari(2014)의 영감을 받은 편향 보정 프레임워크를 활용함으로써, 더 약한 희박성 가정 하에서도 강건한 추론이 가능해지며, 혼동 요인 존재 시 Wooldridge와 Zhu(2018)보다 뛰어난 성능을 보인다.

ABSTRACT

We propose a method for average partial effect estimation in high-dimensional single-index models that is root-n-consistent and asymptotically unbiased given sparsity assumptions on the underlying regression model. This note was prepared as a comment on Wooldridge and Zhu [2018], forthcoming in the Journal of Business and Economic Statistics.

연구 동기 및 목표

• 제한적인 beta-min 조건에 의존하는 기존 고차원 추론 방법의 한계를 해결하기 위해, 혼동 요인이 존재할 경우 편향 추론을 유발할 수 있음을 고려한다.
• Wooldridge와 Zhu(2018)가 요구하는 조건보다 더 약한 조건 하에서도 √n-일치성과 점근 정규성을 유지하는 단일색인 모형에서 평균 부분 효과(APEs)를 추정하는 방법을 개발한다.
• 추정 과정에서 공변수 간 상관관계 구조를 명시적으로 고려함으로써 고차원 환경에서 혼동에 대한 강건성을 향상시킨다.
• Wooldridge와 Zhu(2018)의 접근 방식에 의존하는 부드러운 beta-min 조건을 피하기 위해 새로운 편향 보정 메커니즘을 통해 이론적으로 타당한 대안을 제공한다.
• 비선형 고차원 모형에서 평균 부분 효과에 대한 타당한 추론을 가능하게 하는 조건을 규명한다.

제안 방법

• 고차원 단일색인 모형 추정치 $\hat{\theta}$를 기반으로 한 형태의 편향 보정 추정량 $\hat{\tau}_j = \frac{1}{n}\sum_{i=1}^n \left( \hat{\theta}_j \psi(X_i^T\hat{\theta}) + \hat{\gamma}_i (Y_i - \Psi(X_i^T\hat{\theta})) \right)$을 제안한다.
• Javanmard와 Montanari(2014)의 편향 보정 프레임워크를 따르며, $\hat{\theta}$의 정규화로 인해 발생하는 편향을 보정하기 위해 잔차 기반 보정 $\hat{\gamma}_i$를 사용한다.
• 추정과 편향 보정 단계 간의 의존도를 줄이기 위해 크로스피팅을 활용하여 유한 표본 성능과 이론적 타당성을 향상시킨다.
• 추정식의 2차 테일러 전개에서 나머지 항을 분석함으로써 점근 정규성을 도출하며, 약한 규칙성 및 희박성 조건 하에서 이 항이 $o_p(n^{-1/2})$임을 보인다.
• 데이터에 대한 $\hat{\gamma}_i$의 의존성과 분리하기 위해 $\gamma_n^\star(X_i)$라는 프록시를 도입하여 농도 부등식과 모멘트 한계의 적용을 가능하게 한다.
• 모멘트 조건과 $\hat{\gamma}$의 평균 제곱 일치성에 기반해 헤시안 전개의 각 성분을 경계함으로써 편향 항 $\text{rem}_n$이 $o_p(n^{-1/2})$임을 증명한다.

실험 결과

연구 질문

• RQ1 beta-min 조건에 의존하지 않고 고차원 단일색인 모형에서 평균 부분 효과에 대한 √n-일치성과 점근 정규성을 달성할 수 있는가?
• RQ2 특징 간 상관관계가 있고 약한 영향을 미치지만 비영인 효과를 가질 경우, 고차원 APE 추정에서 혼동에 대한 강건성을 어떻게 향상시킬 수 있는가?
• RQ3 공변수의 상관관계 구조를 명시적으로 모델링할 경우, 비선형 모형에서 APE 추정량의 편향과 분산에 어떤 영향을 미치는가?
• RQ4 기저 모형이 색인 매개변수에 대해 비선형인 경우, 제안된 편향 보정 방법이 어떤 조건에서 타당한 추론을 가능하게 하는가?
• RQ5 링크 함수의 함수형태가 색인 매개변수에 비선형적 의존성을 도입하는 단일색인 모형에 대해 이 편향 보정 프레임워크를 어떻게 적응시킬 수 있는가?

주요 결과

• 제안된 추정량은 Wooldridge와 Zhu(2018)보다 더 약한 조건 하에서도 √n-일치성과 점근 정규성을 달성하며, 특히 beta-min 조건이 필요하지 않다.
• 특징 간 상관관계와 약한 영향을 가진 혼동 요인이 존재할 경우, 시뮬레이션을 통해 고차원 환경에서 혼동에 강건함을 입증하였다.
• 추정량의 점근 전개에서 나머지 항이 $o_p(n^{-1/2})$임을 보였으며, 이는 편향이 점근 분포를 지배하지 않음을 보장한다.
• 편향 보정 가중치에 대한 프록시 $\gamma_n^\star(X_i)$의 사용은 나머지 항을 분해하고 모멘트 조건 및 농도 부등식을 통해 경계하는 데 기여한다.
• 이론적 분석을 통해 $\hat{\gamma}_i$를 통한 편향 보정이 $\hat{\theta}_j$의 정규화 유도 편향을 효과적으로 제거함으로써 타당한 추론이 가능하다.
• 링크 함수의 도함수의 유계 도함수를 가진 일반적인 단일색인 모형에 적용 가능하며, 프로비트 모형은 특수한 경우로 포함된다.