[論文レビュー] How many variables should be entered in a principal component regression equation

Ji Xu, Daniel Hsu|arXiv (Cornell University)|Jun 4, 2019

Statistical Methods and Inference参考文献 3被引用数 6

ひとこと要約

本稿は、分散の降順に順序付けられた無相関ガウス特徴量をもつ高次元設定における主成分回帰（PCR）を分析する。予測誤差が特徴量数 $ p $ の増加に伴い「ダブルデセント」曲線を示すことが示され、$ p > n $ の場合でさえも、モデルの複雑さと一般化誤差の間には単調でない関係が存在することが明らかになった。

ABSTRACT

We study least squares linear regression over $N$ uncorrelated Gaussian features that are selected in order of decreasing variance. When the number of selected features $p$ is at most the sample size $n$, the estimator under consideration coincides with the principal component regression estimator; when $p>n$, the estimator is the least $\ell_2$ norm solution over the selected features. We give an average-case analysis of the out-of-sample prediction error as $p,n,N o \infty$ with $p/N o \alpha$ and $n/N o \beta$, for some constants $\alpha \in [0,1]$ and $\beta \in (0,1)$. In this average-case setting, the prediction error exhibits a `double descent' shape as a function of $p$.

研究の動機と目的

• 主成分回帰における特徴量数 $ p $ が高次元設定下での標本外予測誤差に与える影響を理解すること。
• 古典的PCRの仮定を越えて、$ p > n $ の場合における予測誤差の挙動を分析すること。
• $ p, n, N \to \infty $ の下で $ p/N \to \alpha $ および $ n/N \to \beta $ となる平均的予測誤差を特徴づけること。
• ランダムな特徴量選択とガウス設計下におけるPCRにおける「ダブルデセント」現象の存在と性質を調査すること。

提案手法

• 分散の降順に順序付けられた $ N $ 個のi.i.d.無相関ガウス特徴量を用いて回帰問題をモデル化する。
• 最初の $ p $ 個の特徴量に対する最小二乗回帰を検討し、$ p \leq n $ の場合はPCR推定量が適用され、$ p > n $ の場合は最小 $ \ell_2 $ ノルム解が適用される。
• 固定比を仮定した下で、$ N \to \infty $ の極限において漸近的解析を実施し、$ p/N \to \alpha \in [0,1] $ および $ n/N \to \beta \in (0,1) $ とする。
• 確率的行列理論と漸近的統計解析を用いて、$ p $ の関数としての平均的予測誤差を導出する。
• 予測誤差曲線を $ p $ の関数として特徴づけ、$ p \approx n $ で最小値を示し、$ n $ を超えて再び低下する非単調な形状を明らかにする。
• 特徴量の順序付けられた選択と次元の高さにおけるバイアス・バリアンストレードオフを分析することで、ダブルデセントの挙動を確立する。

実験結果

リサーチクエスチョン

• RQ1 選択された特徴量数 $ p $ の増加に伴い、主成分回帰の標本外予測誤差はどのように変化するか？
• RQ2 $ p > n $ の場合でも、無相関ガウス特徴量のもとで予測誤差がダブルデセント曲線を示すか？
• RQ3 高次元極限において $ p/N \to \alpha $ および $ n/N \to \beta $ のとき、予測誤差の漸近的挙動は何か？
• RQ4 分散の大きさに応じて特徴量が順序付けられている場合、$ p > n $ の領域におけるPCRの一般化性能にどのような影響を与えるか？
• RQ5 i.i.d.ガウス特徴量を仮定した平均的設定下で、PCRにおけるダブルデセント現象を解析的に特徴づけられるか？

主な発見

• 予測誤差は $ p $ の関数として「ダブルデセント」の形状を示し、$ p \approx n $ で最小値を示し、その後 $ p > n $ で再び低下する。
• $ p > n $ であっても、選択された特徴量に対する最小 $ \ell_2 $ ノルム解が、$ p \leq n $ の場合と比較して一般化性能が向上する。これは、望ましいバイアス・バリアンストレードオフに起因する。
• i.i.d.ガウス特徴量を分散の降順に順序付けた平均的解析において、特定の信号構造を仮定しなくても、ダブルデセント曲線が自然に出現する。
• 漸近的予測誤差は比 $ \alpha = p/N $ および $ \beta = n/N $ に依存し、$ n $ を超える最適な $ p $ で最小化される。
• この分析により、ダブルデセント現象は過学習の副産物ではなく、特徴量選択、次元の高さ、正則化の相互作用に起因することが確認された。
• 本研究の結果により、ランダム特徴量を用いた過パラメータ化モデルに限らず、主成分による構造的特徴量選択の文脈においてもダブルデセントの理解が拡張された。