[論文レビュー] Stability Analysis for Regularized Least Squares Regression

Cynthia Rudin|ArXiv.org|Feb 3, 2005

Sparse and Compressive Sensing Techniques参考文献 10被引用数 4

ひとこと要約

この論文は、正則化パラメータが0に近づく際の正則化最小二乗回帰の収束をスペクトル理論と作用素ノルムを用いて分析することで、ラベルにノイズが混入する状況下でも、その安定性を確立している。固定Nおよび大Nの両 regime において、真の回帰関数への収束を証明しており、真の関数がRKHSに属し、正則化パrameter が適切に減少する場合、ノイズや正則化の摂動に対してもアルゴリズムが安定であることが示されている。

ABSTRACT

We discuss stability for a class of learning algorithms with respect to noisy labels. The algorithms we consider are for regression, and they involve the minimization of regularized risk functionals, such as L(f) := 1/N sum_i (f(x_i)-y_i)^2+ lambda ||f||_H^2. We shall call the algorithm `stable' if, when y_i is a noisy version of f*(x_i) for some function f* in H, the output of the algorithm converges to f* as the regularization term and noise simultaneously vanish. We consider two flavors of this problem, one where a data set of N points remains fixed, and the other where N -> infinity. For the case where N -> infinity, we give conditions for convergence to f_E (the function which is the expectation of y(x) for each x), as lambda -> 0. For the fixed N case, we describe the limiting 'non-noisy', 'non-regularized' function f*, and give conditions for convergence. In the process, we develop a set of tools for dealing with functionals such as L(f), which are applicable to many other problems in learning theory.

研究の動機と目的

• ラベルノイズ下における正則化最小二乗回帰の安定性を形式化し、証明すること。
• 正則化パラメータ $\lambda \to 0$ の際、正則化された解が真の回帰関数 $f_{\mathbb{E}}$ に収束することを分析すること。
• ノイズと正則化が同時に小さくなる状況においても、アルゴリズムが安定を保つための条件を確立すること。
• スペクトル理論と作用素ノルムを用いて、学習関数型を分析するための一般的手法を開発すること。
• これらの手法が、正則化回帰を越える他の学習問題へも適用可能であることを示すこと。

提案手法

• 正則化リスク関数 $L(f) = \frac{1}{N}\sum_{i=1}^N (f(\mathbf{x}_i) - y_i)^2 + \lambda \|f\|_{\mathcal{H}}^2$ を用いたチホノフ正則化の定式化を採用。
• 作用素 $P^*P$ 及びそのリゾルベント $\left(\frac{1}{N}P^*P + \lambda\right)^{-1}$ の分析にスペクトル定理を適用。
• RKHS内での正則化解のノルムをバウンドするために、スペクトル測度 $\nu_{\overline{f};P^*P}$ を用いる。
• ドミネート収束定理を用いて、誤差分解の第1項が $\lambda_t \to 0$ の際に消えることを示す。
• 関数 $\phi(z) = \frac{z}{(\frac{1}{N}z + \lambda_t)^2}$ の最大値を用いて、作用素 $\left(\frac{1}{N}P^*P + \lambda_t\right)^{-1}P^*$ のノルムバウンドを適用。
• 誤差分解の第2項が $t \to \infty$ の際に消えるように保証するため、$t\sqrt{\lambda_t} \to \infty$ を要請する。

実験結果

リサーチクエスチョン

• RQ1 正則化パラメータ $\lambda \to 0$ かつ $N \to \infty$ の際、正則化最小二乗解が真の回帰関数 $f_{\mathbb{E}}$ に収束する条件は何か？
• RQ2 ラベルがノイズで汚されており、正則化が小さいが非ゼロである場合、アルゴリズムはどのように振る舞うか？
• RQ3 固定$N$の場合に、正則化パラメータ $\lambda \to 0$ の際に、正則化された解が真の関数 $\overline{f}$ に近づくための条件は何か？
• RQ4 スペクトル理論を用いて、RKHS内での正則化解と真の関数との誤差をバウンドできるか？
• RQ5 正則化とノイズ付きデータを含む学習関数型の安定性を証明するための一般的手法は何か？

主な発見

• $N \to \infty$ の場合、真の関数 $f_{\mathbb{E}} \in \mathcal{H}$ であれば、正則化された解 $f_{\text{min}}$ は $f_{\mathbb{E}}$ に収束する。
• 固定$N$の場合、適切な条件下で、アルゴリズムは非正則化・非ノイズ付きの解である極限関数 $\overline{f}$ に収束する。
• 誤差分解の第1項は、ドミネート収束定理により $t \to \infty$ の際に消える。これは、すべての $z > 0$ に対して $\phi_t(z) \to 0$ であり、$\nu_{\overline{f};P^*P}(\{0\}) = 0$ であるためである。
• 第2項が消えるためには $t\sqrt{\lambda_t} \to \infty$ が満たされる必要がある。これにより、正則化された解が真の関数に収束することが保証される。
• 誤差増幅を制御するために、$\|\left(\frac{1}{N}P^*P + \lambda_t\right)^{-1}P^*\|_{\mathcal{L}(\ell_2, \mathcal{H})} \leq \frac{\sqrt{N}}{2\sqrt{\lambda_t}}$ のバウンドが用いられる。
• 本論文は、凸関数型と収束を含む他の学習問題へ応用可能な一般的手法—スペクトル解析と補題1.1—を構築している。