[논문 리뷰] Omitted variable bias of Lasso-based inference methods: A finite sample analysis

Kaspar Wüthrich, Ying Zhu|arXiv (Cornell University)|2019. 03. 20.

Statistical Methods and Inference참고 문헌 42인용 수 5

한 줄 요약

이 논문은 포스트 듀얼 라소와 디biased 라소와 같은 라소 기반 추론 방법의 유한표본 분석을 제공하며, 고전적 가정 조건 하에서도 큰 표본에서조차도 라소가 관련된 제어변수를 선택하지 못함으로써 생길 수 있는 생략변수편향(OVB)이 존재함을 보여준다. 주요 기여는 비점근 이론을 통해 OVB가 비제어변수의 비제로 계수와 제어변수 분산의 곱이 정규화 임계값의 절반 이하일 경우에 상당한 정도로 발생함을 밝혀내며, 이는 점근적 추론의 타당성을 뒤흔든다.

ABSTRACT

We study the finite sample behavior of Lasso-based inference methods such as post double Lasso and debiased Lasso. We show that these methods can exhibit substantial omitted variable biases (OVBs) due to Lasso not selecting relevant controls. This phenomenon can occur even when the coefficients are sparse and the sample size is large and larger than the number of controls. Therefore, relying on the existing asymptotic inference theory can be problematic in empirical applications. We compare the Lasso-based inference methods to modern high-dimensional OLS-based methods and provide practical guidance.

연구 동기 및 목표

• 고차원 제어 설정 하에서 포스트 듀얼 라소와 디biased 라소의 유한표본 행동을 조사하기 위해.
• 라소가 관련된 제어변수를 선택하지 못하는 조건을 규명하여 생략변수편향(OVB)이 발생하게 되는 조건을 밝히기 위해.
• 표본 크기와 차원이 중간 정도일 때 실증 응용에서 기존 점근적 추론 이론의 신뢰성에 도전하기 위해.
• 편향과 크기 왜곡 측면에서 라소 기반 방법과 고차원 OLS 기반 대안을 비교하기 위해.
• 실증 연구자들이 라소 기반 추론이 언제, 왜 실패할 수 있는지에 대한 실용적 지침을 제공하기 위해.

제안 방법

• 고차원 설정 하에서 포스트 듀얼 라소와 디biased 라소의 OVB를 분석하기 위한 비점근 이론적 프레임워크를 개발한다.
• 이중 선택 절차를 사용한다: 결과변수 Y를 제어변수 X에 대해 라소 회귀하고, 처리변수 D를 제어변수 X에 대해 라소 회귀한 후, 선택된 제어변수의 합집합에 대해 OLS를 시행한다.
• 양쪽 단계에서 모두 관련된 제어변수를 선택하지 못하는 경우—즉, '이중 부족 선택'—로 인해 OVB가 발생할 조건을 도출한다.
• 고차원 랜덤 행렬 이론과 농도 불등식을 활용하여 공분산 및 정밀행렬 추정기의 추정 오차를 근사한다.
• 합집합 경계와 서브가우시안 尾 불등식을 적용하여 라소 해의 하위기울기 조건에서 큰 이탈의 확률을 제어한다.
• 비제로 계수 크기와 제어변수 분산의 곱이 정규화 매개수의 절반 이하일 경우 OVB가 비노력해짐을 입증한다.

실험 결과

연구 질문

• RQ1 유한표본 조건에서 라소 기반 추론이 관련된 제어변수를 선택하지 못함으로써 생략변수편향(OVB)을 겪는 조건는 무엇인가?
• RQ2 비제로 계수의 크기와 제어변수 분산이 포스트 듀얼 라소에서 이중 부족 선택의 확률에 어떤 영향을 미치는가?
• RQ3 라소 기반 방법에서 OVB로 인해 기존 점근적 추론 절차가 유한표본에서 얼마나 심각하게 붕괴되는가?
• RQ4 편향과 크기 왜곡 측면에서 라소 기반 추론 방법과 고차원 OLS 기반 대안 간의 비교는 어떻게 이루어지는가?
• RQ5 고전적 설계 가정(예: 정규 오차, 직교 설계) 하에서 이중 부족 선택의 이론적 확률은 얼마인가?

주요 결과

• 라소 기반 추론 방법은 진짜 모형이 흩어져 있더라도 표본 크기가 크더라도 여전히 상당한 생략변수편향(OVB)을 겪을 수 있다.
• 비제로 계수의 크기와 제어변수 분산의 곱이 정규화 매개수의 절반 이하일 경우, 관련된 제어변수를 양쪽 단계에서 모두 놓치는 '이중 부족 선택'이 높은 확률로 발생할 수 있다.
• 이중 부족 선택의 확률은 exp(−b log p / k³)로 감소하는 항으로 위계적으로 제한되며, 이는 중간 표본에서도 무시할 수 없는 위험을 암시한다.
• 유한표본에서의 OVB로 인해 가설 검정에서 크기 왜곡이 심각하게 발생할 수 있으므로, 점근적 추론 이론은 실제 적용에서는 정확하지 않을 수 있다.
• 이론적 결과는 OVB가 점근적이지 않으며, 정규 동분산 오차와 직교 설계와 같은 유리한 조건에서도 지속될 수 있음을 보여준다.
• 실증적으로 관련된 설정에서 고차원 OLS 기반 방법이 라소 기반 방법보다 생략변수편향에 더 강건함을 입증한다.