[논문 리뷰] Robust Inference Under Heteroskedasticity via the Hadamard Estimator

Edgar Dobriban, Weijie Su외 2명|arXiv (Cornell University)|2018. 07. 01.

Random Matrices and Applications참고 문헌 33인용 수 5

한 줄 요약

이 논문은 이방성 분산을 가진 선형 회귀에서 화이트의 샌드위치 추정량의 강건한 대안으로 히드라드 추정량을 제안한다. 이는 무작위 직교 투영 행렬의 제곱 항목을 통해 비편향된 분산 추정을 활용한다. 고차원 설정에서 더 정확한 신뢰구간을 얻기 위해 새로운 자유도 조정을 도입하였으며, 온건한 조건 하에 잘 정의됨, 일致성, 점근 정규성을 보장하는 이론적 근거를 제공한다.

ABSTRACT

Drawing statistical inferences from large datasets in a model-robust way is an important problem in statistics and data science. In this paper, we propose methods that are robust to large and unequal noise in different observational units (i.e., heteroskedasticity) for statistical inference in linear regression. We leverage the Hadamard estimator, which is unbiased for the variances of ordinary least-squares regression. This is in contrast to the popular White's sandwich estimator, which can be substantially biased in high dimensions. We propose to estimate the signal strength, noise level, signal-to-noise ratio, and mean squared error via the Hadamard estimator. We develop a new degrees of freedom adjustment that gives more accurate confidence intervals than variants of White's sandwich estimator. Moreover, we provide conditions ensuring the estimator is well-defined, by studying a new random matrix ensemble in which the entries of a random orthogonal projection matrix are squared. We also show approximate normality, using the second-order Poincare inequality. Our work provides improved statistical theory and methods for linear regression in high dimensions.

연구 동기 및 목표

• 이방성 하에서 고차원 선형 회귀에서 기존 추정량(예: 화이트의 샌드위치 추정량)이 심각한 편향을 보이는 데 기인한 지속적인 추론 편향 문제를 해결하기 위해.
• 관측 단위 간 알 수 없는 이방성 노이즈 수준에 적응할 수 있는 모형 강건한 추론 프레임워크를 개발하기 위해.
• 히드라드 추정량의 이론적 기초를 확립하기 위해, 특히 고차원 설정에서 잘 정의됨, 일치성, 점근 정규성을 포함하여.
• 기존 샌드위치 추정량 변형과 비교해 신뢰구간의 커버리지 정확도를 향상시키는 새로운 자유도 조정을 제안하기 위해.
• 직교 투영 행렬의 제곱 항목을 포함하는 랜덤 행렬 집합의 통계적 이론을 확장하여, 추정량의 성질에 대한 엄밀한 분석을 가능하게 하기 위해.

제안 방법

• 히드라드 추정량은 설계 행렬의 투영 행렬과의 행렬 곱의 대각선에 의해 정의되며, OLS 회귀에서 오차 분산의 비편향 추정을 제공한다.
• 이 방법은 무작위 직교 투영 행렬의 항목을 제곱한 새로운 랜덤 행렬 집합을 활용하여, 추정량의 모멘트와 잘 정의됨을 분석할 수 있도록 한다.
• 표준 오차를 조정하기 위해 새로운 자유도 보정을 유도하여, 이방성 하에서 신뢰구간의 정확도를 향상시킨다.
• 이론적 분석은 고차원 점근적 설정 하에서 히드라드 추정량의 점근 정규성을 확립하기 위해 두 번째 차수의 파이오카레 부등식을 사용한다.
• 신호 강도, 노이즈 수준, 신호 대 노이즈 비율, 평균 제곱 오차는 히드라드 추정량을 통해 추정되며, 이는 이방성 하에서 종합적인 추론을 가능하게 한다.
• 유한 표본 성능은 다양한 표본 크기와 비율 조건 하에서 시뮬레이션을 통해 검증되었으며, 유형 I 오류 비율과 검정 통계량의 정규성과 비교되었다.

실험 결과

연구 질문

• RQ1 기존 추정량(예: 화이트의)이 편향을 보이는 고차원 선형 모형에서 히드라드 추정량은 비편향된 분산 추정을 제공할 수 있는가?
• RQ2 고차원 설정에서 히드라드 추정량의 잘 정의됨과 안정성을 보장하는 조건은 무엇인가?
• RQ3 제안된 자유도 조정은 기존 샌드위치 추정량 변형과 비교해 신뢰구간의 커버리지 정확도를 어떻게 향상시키는가?
• RQ4 히드라드 추정량은 고차원 점근적 설정에서 점근 정규성을 얼마나 잘 갖추며, 이를 엄밀히 증명할 수 있는가?
• RQ5 히드라드 추정량은 군집화되거나 자기상관이 있는 오차를 가진 더 복잡한 모형, 또는 $ n < p $ 인 고차원 설정으로 확장될 수 있는가?

주요 결과

• 히드라드 추정량은 OLS 회귀에서 오차 분산에 대해 비편향이므로, 고차원에서 화이트의 샌드위치 추정량보다 근본적인 이점이 있다.
• 제안된 자유도 조정은 더 정확한 신뢰구간을 제공하여, 기존 표준 샌드위치 추정량과 비교해 표본 수가 유한할 때 훨씬 낮은 유형 I 오류 비율을 보였다.
• 이론적 분석은 설계 행렬에 대한 온건한 조건 하에서 히드라드 추정량이 잘 정의됨을 확인하였으며, 제곱 투영 행렬 항목을 포함하는 새로운 랜덤 행렬 집합을 통해 존재성을 확립하였다.
• 두 번째 차수의 파이오카레 부등식을 사용하여 히드라드 추정량의 점근 정규성을 확립하였으며, 이는 고차원 점근적 설정에서 타당한 추론을 가능하게 한다.
• 시뮬레이션 결과, 히드라드 추정량의 z-점수는 표준 정규 분포와 매우 유사하게 따라가며, 일부 설정에서는 카이제곱 근사보다 더 우수한 적합도를 보였다.
• 이 방법은 이방성 하에서 신호 대 노이즈 비율, 노이즈 수준, 평균 제곱 오차의 신뢰할 수 있는 추정을 가능하게 하여 종합적인 추론을 지원한다.