[論文レビュー] Kernel Partial Least Squares is Universally Consistent

Gilles Blanchard, Nicole Kraemer|arXiv (Cornell University)|Feb 25, 2009

Neural Networks and Applications参考文献 26被引用数 7

ひとこと要約

本稿では、データに依存する停止ルールを確立することにより、カーネル部分最小二乗法（KPLS）回帰の普遍的一致性を証明する。PLSと早期停止を施した共役勾配法との等価性を活用し、著者らは、カーネルが普遍的である場合に、真の回帰関数に関する事前知識が不要な状況でも、推定誤差の監視に基づく停止ルールと、条件数推定に基づく停止ルールの両方が普遍的一貫推定量をもたらすことを示す。

ABSTRACT

We prove the statistical consistency of kernel Partial Least Squares Regression applied to a bounded regression learning problem on a reproducing kernel Hilbert space. Partial Least Squares stands out of well-known classical approaches as e.g. Ridge Regression or Principal Components Regression, as it is not defined as the solution of a global cost minimization procedure over a fixed model nor is it a linear estimator. Instead, approximate solutions are constructed by projections onto a nested set of data-dependent subspaces. To prove consistency, we exploit the known fact that Partial Least Squares is equivalent to the conjugate gradient algorithm in combination with early stopping. The choice of the stopping rule (number of iterations) is a crucial point. We study two empirical stopping rules. The first one monitors the estimation error in each iteration step of Partial Least Squares, and the second one estimates the empirical complexity in terms of a condition number. Both stopping rules lead to universally consistent estimators provided the kernel is universal.

研究の動機と目的

• 無限次元設定におけるカーネル部分最小二乗法（KPLS）回帰の普遍的一貫性を確立すること。
• リッジ回帰やPCRとは異なり、グローバル最小化器でも線形推定量でもないPLSに対して、理論的一致結果の欠如に対処すること。
• 真の回帰関数に関する事前知識が不要な状況でも一貫性を保証する、PLSの成分数に対する停止ルールの開発。
• KPLSと統計的逆問題の橋渡しを、共役勾配法との関連を活用して行うこと。
• 標準的な線形スペクトル法とは異なり、KPLSが応答変数に依存するフィルタ関数を用いることから、新たな理論的枠組みの必要性を示すこと。

提案手法

• 正規方程式に適用した早期停止付き共役勾配法とPLSとの等価性を利用する。
• 母集団バージョンのKPLSを、母集団共分散作用素 $\bar{S}$ と共通共分散作用素 $\bar{T}^*\bar{f}$ を用いて定義する。
• 2つのデータ駆動型停止ルールを採用する：1つは各反復で推定誤差を監視するもの、もう1つは疑似条件数を用いて経験的複雑度を推定するもの。
• 濃度不等式と行列ノルムの上限を用いて、経験的解と母集団解との差を制御する。
• ボレル＝カンテーリーの補題を適用し、標本サイズが増加するにつれて推定誤差がほとんど確実に0に収束することを示す。
• 母集団推定量の収束と、停止ルールによる推定誤差の制御を組み合わせることで、一貫性を確立する。

実験結果

リサーチクエスチョン

• RQ1 カーネルおよびデータ分布に対して弱い仮定を置いた場合、カーネルPLSは普遍的一貫性を満たすか？
• RQ2 PLSの成分数に対するデータに依存する停止ルールは、真の回帰関数に関する事前知識がなくても一貫性を保証するか？
• RQ3 早期停止付き共役勾配法との等価性は、KPLSの理論的解析をどのように可能にするか？
• RQ4 条件数や誤差監視といった観察可能な量を用いて、経験的KPLSと母集団KPLSとの推定誤差を有界化できるか？
• RQ5 標準的な線形スペクトル法の結果がなぜKPLSに適用できないのか、そして新たな理論的枠組みは何か？

主な発見

• カーネルが普遍的であるという仮定の下で、カーネルPLSの母集団バージョンは真の回帰関数に収束する。
• 適切に選ばれた停止ルールのもとで、経験的解と母集団解との差は、高確率で $n^{-\gamma}$（$\gamma > 0$）で有界である。
• 推定誤差の監視に基づく停止ルールと、条件数推定に基づく停止ルールの両方が、カーネルが普遍的である場合に普遍的一貫推定量をもたらす。
• 条件数推定に基づく停止ルールは、$n \to \infty$ のとき、反復回数 $m^{\prime}_{(n)}$ がほとんど確実に発散することを保証し、アンダーフィッティングを防ぐ。
• ボレル＝カンテーリーの補題を濃度不等式に適用した結果、推定誤差の有界性はほとんど確実に大きな $n$ に対して成り立つ。
• KPLSは応答変数に関して線形推定量ではないため、線形スペクトル法の結果を直接適用できない。これにより、新たな理論的枠組みの必要性が生じる。