[論文レビュー] Robust Inference Under Heteroskedasticity via the Hadamard Estimator

Edgar Dobriban, Weijie Su+2 more|arXiv (Cornell University)|Jul 1, 2018

Random Matrices and Applications参考文献 33被引用数 5

ひとこと要約

本稿では、異分散性のある線形回帰におけるホワイトのサンドイッチ推定量の代替として、ランダムな直交射影行列の二乗成分を用いた不偏分散推定量を活用することで、頑健なハダマール推定量を提案する。高次元設定における信頼区間の精度を向上させるために、新たな自由度補正を導入し、弱い条件下でも適切に定義され、一貫性および漸近正規性を保証する理論的根拠を提示する。

ABSTRACT

Drawing statistical inferences from large datasets in a model-robust way is an important problem in statistics and data science. In this paper, we propose methods that are robust to large and unequal noise in different observational units (i.e., heteroskedasticity) for statistical inference in linear regression. We leverage the Hadamard estimator, which is unbiased for the variances of ordinary least-squares regression. This is in contrast to the popular White's sandwich estimator, which can be substantially biased in high dimensions. We propose to estimate the signal strength, noise level, signal-to-noise ratio, and mean squared error via the Hadamard estimator. We develop a new degrees of freedom adjustment that gives more accurate confidence intervals than variants of White's sandwich estimator. Moreover, we provide conditions ensuring the estimator is well-defined, by studying a new random matrix ensemble in which the entries of a random orthogonal projection matrix are squared. We also show approximate normality, using the second-order Poincare inequality. Our work provides improved statistical theory and methods for linear regression in high dimensions.

研究の動機と目的

• 異分散性下での高次元線形回帰において、古典的推定量（例えばホワイトのサンドイッチ推定量）が著しいバイアスを示すという、長年の課題に取り組むこと。
• 観測単位間の未知かつ不等しいノイズレベルに適応可能なモデルに頑健な推論フレームワークを構築すること。
• ハダマール推定量の理論的基盤を確立し、特に高次元設定における適切な定義、一貫性、および漸近正規性を示すこと。
• 既存のサンドイッチ推定量の変種と比較して、信頼区間のカバレッジ精度を向上させる新たな自由度補正を提案すること。
• 直交射影行列の二乗成分を含むランダム行列集合の統計理論を拡張し、推定量の性質を厳密に分析可能にする基盤を構築すること。

提案手法

• ハダマール推定量は、計画行列の射影行列に関連する行列積の対角成分として定義され、OLS回帰における誤差分散の不偏推定量を提供する。
• 本手法は、ランダム直交射影行列の成分を二乗化した新しいランダム行列集合を活用し、推定量のモーメントおよび適切な定義の分析を可能にする。
• 標準誤差を補正するための新たな自由度補正が導出され、異分散性下での信頼区間の精度が向上する。
• 理論的分析では、第二階のポアンカレ不等式を用いて、高次元漸近的条件下におけるハダマール推定量の漸近正規性を確立する。
• 信号強度、ノイズレベル、信号対ノイズ比、平均二乗誤差はハダマール推定量を用いて推定され、包括的な推論が可能になる。
• 有限標本における性能は、さまざまな標本サイズとアスペクト比の下でシミュレーションにより検証され、第一種の誤り率と検定統計量の正規性が比較される。

実験結果

リサーチクエスチョン

• RQ1 古典的推定量（ホワイト推定量など）がバイアスを示す高次元線形モデルにおける異分散性下で、ハダマール推定量は誤差分散の不偏推定量を提供できるか？
• RQ2 高次元設定において、ハダマール推定量の適切な定義と安定性を保証する条件は何か？
• RQ3 提案された自由度補正は、既存のサンドイッチ推定量の変種と比較して、信頼区間のカバレッジ精度をどのように向上させるか？
• RQ4 高次元漸近的条件下で、ハダマール推定量はどの程度漸近正規性を示すか？ そして、これを厳密に確立できるか？
• RQ5 ハダマール推定量は、クラスタリングされた誤差構造や自己相関のある誤差構造、あるいは $ n < p $ の高次元設定に拡張可能か？

主な発見

• ハダマール推定量は、OLS回帰における誤差分散に対して不偏である。これは、高次元においてバイアスを示す古典的推定量（ホワイト推定量）に比べ、根本的な利点を有する。
• 提案された自由度補正により、信頼区間の精度が向上し、標準のサンドイッチ推定量と比較して、有限標本における第一種の誤り率が顕著に低減される。
• 理論的分析により、計画行列に弱い条件下でハダマール推定量が適切に定義されることを確認。存在性は、射影行列成分の二乗を含む新しいランダム行列集合を用いて確立された。
• 第二階のポアンカレ不等式を用いた分析により、ハダマール推定量の漸近正規性が確立され、高次元漸近的条件下での有効な推論を支持する。
• シミュレーションでは、ハダマール推定量のzスコアが標準正規分布に非常に良く適合しており、一部の設定ではカイ二乗近似よりも優れた適合度を示す。
• 本手法により、信号対ノイズ比、ノイズレベル、平均二乗誤差の信頼性ある推定が可能となり、異分散性下での包括的推論が実現される。