[論文レビュー] PLS: a new statistical insight through the prism of orthogonal polynomials

Mélanie Blazère, Fabrice Gamboa+1 more|arXiv (Cornell University)|May 22, 2014

Spectroscopy and Chemometric Analyses参考文献 17被引用数 6

ひとこと要約

本稿では、部分最小二乗法（PLS）回帰の新たな解析的枠組みを提示する。この枠組みは、直交多項式およびクリロフ部分空間にリンクさせることで、設計行列の固有値とノイズを用いて残差を明示的に特徴づけることを可能にする。主な貢献は、低ノイズ仮定の下で予測誤差のタイトな境界を導出する新しい明示的公式であり、高次元回帰におけるPLSの性能に関するより深い理論的洞察を提供する。

ABSTRACT

Partial Least Square (PLS) is a dimension reduction method used to remove multicollinearities in a regression model. However contrary to Principal Components Analysis (PCA) the PLS components are also choosen to be optimal for predicting the response $Y$. In this paper we provide a new and explicit formula for the residuals. We show that the residuals are completely determined by the spectrum of the design matrix and by the noise on the observations. Because few are known on the behaviour of the PLS components we also investigate their statistical properties in a regression context. New results on regression and prediction error for PLS are stated under the assumption of a low variance of the noise.

研究の動機と目的

• 部分最小二乗法（PLS）回帰の新たな理論的理解を提供することを目的とし、直交多項式およびクリロフ部分空間の観点から再定式化すること。
• 設計行列のスペクトルおよび観測ノイズにのみ依存する、残差の明示的で閉形式の表現を導出すること。
• 低ノイズ分散仮定の下で、経験的リスクおよび平均二乗予測誤差の厳密な境界を確立すること。
• 高次元設定におけるPLS成分の統計的性質と、回帰および予測精度に与える影響を分析すること。
• 特に固有値分布とノイズレベルに関連して、PLSの限界を明確にすること。

提案手法

• PLSを制約付き最小二乗問題として再定式化し、逆問題および正則化理論に接続すること。
• 直交多項式の射影を用いて、PLS成分を設計行列 $X^T X$ の固有値および固有ベクトルの関数として表現すること。
• 新たな明示的公式を導出：$\frac{1}{n}\|\hat{Q}_k(X^T X) - Q^*_k(X^T X)\|_2^2$、ここで $\hat{Q}_k$ および $Q^*_k$ は、実証的および真の固有値に基づく多項式近似である。
• 集中不等式を適用して、固有ベクトルノルムの実証的推定値を用いて、比 $\left|\frac{\hat{Q}_k(\lambda_i)}{Q^*_k(\lambda_i)}\right|$ の境界を求める。
• ノイズ分散 $\text{Var}(\varepsilon) \ll 1$ の仮定の下で、$X^T X$ のスペクトル構造とノイズ分散を用いて予測誤差の確率的境界を確立する。
• クリロフ部分空間フレームワークを用いて、PLSを設計行列の逆行列への多項式近似の逐次的系列として解釈すること。

実験結果

リサーチクエスチョン

• RQ1 PLS回帰の残差は、設計行列の固有構造とノイズを用いてどのように明示的に表現できるか？
• RQ2 高次元的かつノイズのある設定下で、PLS成分の統計的挙動はいかなるものか？
• RQ3 PLSの予測誤差および経験的リスクは、標本サイズとノイズ分散にどのように依存するか？
• RQ4 設計行列 $X^T X$ のスペクトル分布は、PLSの性能にどのような影響を及えるか？
• RQ5 ノイズ分散が無視できない場合、または固有値が悪条件である場合、PLSの理論的限界は何か？

主な発見

• PLSの残差は、$X^T X$ の固有値とノイズベクトル $\varepsilon$ によって完全に決定され、式 $\frac{1}{n}\|\hat{Q}_k(X^T X) - Q^*_k(X^T X)\|_2^2$ で形式化される。
• 低ノイズ分散の下で、予測誤差は $\frac{4k^2\tilde{C}^2}{L}\frac{\log n}{n^2}\left(1 + \frac{C}{\sqrt{L}}\sqrt{\frac{\log n}{n}}\right)\|X\beta^*\|_{W}^2$ で有界であり、ここで $W$ は固有値の最大偏差に依存する。
• 極端な固有値（$i=1$ および $i=n$）に対して、比 $\left|\frac{\hat{Q}_k(\lambda_i)}{Q^*_k(\lambda_i)}\right|$ は、高確率で $1 + O\left(2k\sqrt{\frac{\log n}{nL}}\right)$ で有界である。
• ノイズ分散が小さく、関連する成分数 $k$ が中程度の場合は、よりタイトな誤差境界が達成される。
• 解析により、PLSの性能は固有値の分布および固有ベクトル推定の安定性に敏感であることが明らかになった。特に高次元的状況下で顕著である。
• 理論的結果により、PLS成分が予測において最適であるだけでなく、スペクトル仮定の下で予測可能な挙動を示すことが確認され、ゲノムおよび化学計測分野のデータにおける応用の妥当性が裏付けられた。