[논문 리뷰] High-dimensional instrumental variables regression and confidence sets

Éric Gautier, Christiern Rose|arXiv (Cornell University)|2011. 05. 12.

Statistical Methods and Inference참고 문헌 57인용 수 128

한 줄 요약

이 논문은 다수의 내생적 회귀변수를 가진 고차원 선형 모형에서 자기조절형 도구변수(STIV) 추정량을 제안하며, 볼록 최적화를 통한 식별성에 강건한 추론을 가능하게 한다. 선형 프로그래밍을 통해 신뢰구간을 도출하고, 희소성 적응형 추론을 달성하며, 약한 또는 다수의 도구변수 하에서도 유한표본에서의 타당성을 보장한다. EASI 수요체계에의 응용에서 일阶 모형의 큰 근사오차를 확인한다.

ABSTRACT

This article considers inference in linear instrumental variables models with many regressors, all of which could be endogenous. We propose the STIV estimator. Identification robust confidence sets are derived by solving linear programs. We present results on rates of convergence, variable selection, confidence sets which adapt to the sparsity, and analyze confidence bands for vectors of linear functions using bias correction. We also provide solutions to some instruments being endogenous. The application is to the EASI demand system.

연구 동기 및 목표

• 모든 회귀변수가 내생적일 수 있는 고차원 선형 도구변수 모형에서의 추론을 위한 계산적으로 실현 가능한 방법을 개발하는 것.
• 약한 또는 다수의 도구변수에 강건하고, $ d_X \gg n $ 일 때도 표본 크기가 유한한 상황에서 유효한 신뢰구간을 구성하는 것.
• STIV를 데이터 기반 편향 보정 및 변수 선택과 조합하여 희소성 적응형 추론을 가능하게 하는 것.
• 고차원 환경에서 소수의 도구변수가 내생적일 경우를 볼록 완화와 펄스 기반 추론을 통해 다루는 것.
• EASI 수요체계에 프레임워크를 적용하여, 이阶 근사가 일阶 근사 오차를 크게 감소시킴을 보여주는 것.

제안 방법

• 표준 오차와 튜닝 파rameter를 동시에 추정하는 자기조절형 방법인 STIV 추정량을 제안하여 펄스 기반 추론을 보장한다.
• 모멘트 조건에서 유도된 $ \ell^\infty $-노름 통계량을 사용하여 선형 프로그래밍을 통해 식별성에 강건한 신뢰구간을 형성한다.
• 그리드 기반 검증을 대체하기 위해 볼록 완화(선형 또는 콘형 프로그래밍)를 활용하여 고차원 $ d_X $ 에도 스케일이 가능하도록 한다.
• 오차 분산의 동시 추정을 통한 데이터 기반 튜닝을 활용하여, $ \beta $ 의 선형 함수에 대한 편향 보정된 신뢰구간 밴드를 적용한다.
• 단순형 방정식에 희소성 구조를 도입하지 않아, 회귀변수와 도구변수의 공동 분포 모델링에 유연성을 부여한다.
• 파라미터 제약(예: 슬루츠키 행렬의 대칭성), 알려진 회귀변수의 관련성(예: 가격 및 제곱형 지출), 그리고 방정식 체계 내 근사오차를 체계적으로 다룰 수 있는 프레임워크를 도입한다.

실험 결과

연구 질문

• RQ1 약한 또는 다수의 도구변수에 강건하고, 표본 크기가 유한한 상황에서도 유효한 고차원 IV 모형에 대한 신뢰구간을 구성할 수 있는가?
• RQ2 진짜 $ \beta $ 가 근사적으로 희소적이지만 $ d_X \gg n $ 일 경우, 어떻게 희소성 적응형 추론을 달성할 수 있는가?
• RQ3 모든 회귀변수가 내생적일 수 있는 고차원 IV 모형에서 추론을 위한 계산적으로 실현 가능한 방법은 무엇인가?
• RQ4 데이터가 풍부하고 고차원적인 환경에서 소수의 도구변수가 내생적일 경우를 어떻게 다룰 수 있는가?
• RQ5 고차 근사와 고차원 IV 방법을 사용함으로써 수요체계 추정의 정확도를 향상시킬 수 있는가?

주요 결과

• STIV 추정량은 $ \beta $ 의 희소성에 비례하여 오차 범위가 조절되어, $ d_X \gg n $ 일 때도 타당한 추론이 가능하다.
• 선형 프로그래밍을 통해 도출된 신뢰구간은 식별 가능한 파라미터와 서로 관계가 없는 회귀변수와 도구변수 간의 제한 없는 종속성 구조를 가진 분포에 대해 균일하게 타당하다.
• 표준 오차와 튜닝 파rameter의 동시 추정으로 인해 유한표본 타당성과 식별성에 대한 강건성이 확보되며, 펄스 기반 신뢰구간이 된다.
• 편향 보정된 $ \beta $ 의 선형 함수에 대한 신뢰구간 밴드는 약한 정규 조건 하에서도 균일한 커버리지율을 달성하며, 수렴 속도는 희소성에 적응된다.
• EASI 수요체계 응용에서 일阶 근사 오차가 크며, 수천 개의 내생적 회귀변수를 포함한 이阶 근사가 적합도를 크게 향상시킨다.
• 프레임워크는 파라미터 제약(예: 대칭성), 알려진 회귀변수의 관련성(예: 가격 및 제곱형 지출)을 다룰 수 있으며, 근사오차를 체계적으로 다룰 수 있다.