[論文レビュー] Provable More Data Hurt in High Dimensional Least Squares Estimator

Zeng Li, Chuanlong Xie+1 more|arXiv (Cornell University)|Aug 14, 2020

Random Matrices and Applications参考文献 35被引用数 6

ひとこと要約

本稿は、高次元最小二乗回帰における予測リスクの最初の有限標本中心極限定理を確立し、過パラメータ化領域における非単調なリスク行動のため、より多くのデータが性能を悪化させることを証明している。ランダム行列理論を用いて、p/n → c > 1 のとき、「より多くのデータが悪影響を及ぼす」現象を裏付ける信頼区間を導出している。

ABSTRACT

This paper investigates the finite-sample prediction risk of the high-dimensional least squares estimator. We derive the central limit theorem for the prediction risk when both the sample size and the number of features tend to infinity. Furthermore, the finite-sample distribution and the confidence interval of the prediction risk are provided. Our theoretical results demonstrate the sample-wise nonmonotonicity of the prediction risk and confirm "more data hurt" phenomenon.

研究の動機と目的

• 高次元最小二乗推定における予測リスクの有限標本分布を厳密に特徴づけること。
• 標本サイズの増加が予測性能を悪化させる可能性がある過パラメータ化モデルにおける「より多くのデータが悪影響を及ぼす」というパラドックスを解消すること。
• 2次フラクチュエーションの分析を通じて、予測リスクの非単調な挙動の理論的基盤を提供すること。
• 高次元設定における統計的推論を可能にする、予測リスクの漸近的信頼区間を導出すること。

提案手法

• ランダム行列理論、特に線形スペクトル統計量の中心極限定理を用いて、最小二乗推定量の予測リスクを分析する。
• n と p が両方とも ∞ に近づく漸近的設定において、予測リスクの極限分布を導出する。
• 標準化された検定統計量 T_n, T_{n,0}, T_{n,1}, T_{n,2}, T_{n,3} を導入し、CLTのもとで標準正規分布に収束することを示す。
• 2種類の予測リスクを用いる：設計行列と係数の条件付きリスク、およびモデル仮定下での周辺リスク。
• Bai & Silverstein (2004) および Bai et al. (2007) の理論的道具を用いて収束速度と極限分散を導出する。
• Gaussian, gamma, t-分布のさまざまな分布下で、1000回の繰り返しによるモンテカルロシミュレーションにより理論的結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 高次元回帰における「より多くのデータが悪影響を及ぼす」現象は、有限標本分布を用いて形式的に証明可能か？
• RQ2 n と p が両方とも ∞ に近づく際、p/n → c のもとで予測リスクはどのように振る舞うか？
• RQ3 過パラメータ化線形モデルにおける予測リスクの有限標本分布は何か？
• RQ4 標本サイズ n の増加に伴うリスクの非単調な挙動を反映する、予測リスクの信頼区間を構築可能か？
• RQ5 予測リスクの2次フラクチュエーションは、標本サイズに関するモデル性能の単調性にどのように影響するか？

主な発見

• n,p→∞ かつ p/n→c の連合漸近的設定のもとで、予測リスクの有限標本分布は正規分布に収束し、統計的推論が可能になる。
• 予測リスクの信頼区間は非単調な挙動を示す：c>1 の過パラメータ化領域において、ある n₁ < n₂ に対して n₁ の上側信頼限界が n₂ の下側信頼限界よりも小さいことがあり、これにより「より多くのデータが悪影響を及ぼす」ことが確認される。
• c=1/2 の場合、p が増加するに従い、95%信頼区間の実証的カバレッジ率は95%に近づき、CLT近似の妥当性が裏付けられる。
• c=2 の場合、改善された統計量 T_{n,3} の有限標本性能は T_{n,2} よりも優れており、p が増加するに従いカバレッジ率が名目水準に近づく。
• 予測リスクは標本ごとのダブルデスン曲線を示し、p/n≈1 の周辺でリスクのピークが現れ、その後低下する。これは、より多くのデータが悪影響を及ぼす理由を説明する。
• 理論的結果により、「より多くのデータが悪影響を及ぼす」現象は、過パラメータ化とリスクの2次フラクチュエーションの相互作用に起因し、単に漸近的バイアスによるものではないことが確認された。