[논문 리뷰] Stability Analysis for Regularized Least Squares Regression

Cynthia Rudin|ArXiv.org|2005. 02. 03.

Sparse and Compressive Sensing Techniques참고 문헌 10인용 수 4

한 줄 요약

이 논문은 정규화 파rameter가 0으로 수렴함에 따라 정규화된 최소 제곱 회귀의 해가 진짜 회귀 함수로 수렴함을 분석함으로써 노이즈가 있는 레이블 하에서의 안정성을 확립한다. 스펙트럼 이론과 연산자 노름을 사용하여 고정된 N과 큰 N의 두 경우 모두에서 수렴성을 증명하며, 진짜 함수가 RKHS에 속해 있고 정규화 파rameter가 적절히 감소할 경우 알고리즘이 노이즈와 정규화 변화에 대해 강건함을 보여준다.

ABSTRACT

We discuss stability for a class of learning algorithms with respect to noisy labels. The algorithms we consider are for regression, and they involve the minimization of regularized risk functionals, such as L(f) := 1/N sum_i (f(x_i)-y_i)^2+ lambda ||f||_H^2. We shall call the algorithm `stable' if, when y_i is a noisy version of f*(x_i) for some function f* in H, the output of the algorithm converges to f* as the regularization term and noise simultaneously vanish. We consider two flavors of this problem, one where a data set of N points remains fixed, and the other where N -> infinity. For the case where N -> infinity, we give conditions for convergence to f_E (the function which is the expectation of y(x) for each x), as lambda -> 0. For the fixed N case, we describe the limiting 'non-noisy', 'non-regularized' function f*, and give conditions for convergence. In the process, we develop a set of tools for dealing with functionals such as L(f), which are applicable to many other problems in learning theory.

연구 동기 및 목표

• 노이즈 있는 레이블 하에서 정규화된 최소 제곱 회귀의 안정성을 체계적으로 정의하고 증명하기.
• 정규화 파arameter $\lambda \to 0$일 때 정규화된 해가 진짜 회귀 함수 $f_{\mathbb{E}}$로 수렴하는 것을 분석하기.
• 노이즈와 정규화가 동시에 줄어들 때 알고리즘이 안정성을 유지할 조건을 확립하기.
• 스펙트럼 이론과 연산자 노름을 사용하여 학습 함수형의 분석을 위한 일반 도구를 개발하기.
• 이러한 도구가 정규화 회귀를 초월한 다른 학습 문제에도 적용 가능함을 보여주기.

제안 방법

• 정규화된 위험 기능 $L(f) = \frac{1}{N}\sum_{i=1}^N (f(\mathbf{x}_i) - y_i)^2 + \lambda \|f\|_{\mathcal{H}}^2$를 사용한 티코노프 정규화 공식화를 사용한다.
• 스펙트럼 정리를 적용하여 연산자 $P^*P$와 그 해소자 $\left(\frac{1}{N}P^*P + \lambda\right)^{-1}$를 분석한다.
• RKHS에서 정규화된 해의 노름을 유계하기 위해 스펙트럼 측도 $\nu_{\overline{f};P^*P}$를 사용한다.
• 주어진 함수 $\phi(z) = \frac{z}{(\frac{1}{N}z + \lambda_t)^2}$의 최댓값을 사용하여 연산자 $\left(\frac{1}{N}P^*P + \lambda_t\right)^{-1}P^*$의 노름을 유계한다.
• 오차 분해의 두 번째 항이 $t \to \infty$일 때 0으로 수렴하도록 보장하기 위해 $t\sqrt{\lambda_t} \to \infty$ 조건이 필요하다.
• 오차 분해의 첫 번째 항이 $\lambda_t \to 0$일 때 디ominated 수렴 정리에 의해 0으로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 정규화 파arameter $\lambda \to 0$이면서 $N \to \infty$일 때, 정규화된 최소 제곱 해가 진짜 회귀 함수 $f_{\mathbb{E}}$로 수렴하는 조건은 무엇인가?
• RQ2 레이블이 노이즈에 오염되어 있고 정규화가 작지만 0이 아닌 경우 알고리즘은 어떻게 행동하는가?
• RQ3 고정된 $N$의 경우에서 $\lambda \to 0$일 때 정규화된 해가 진짜 함수 $\overline{f}$에 가까워지는 조건은 무엇인가?
• RQ4 스펙트럼 이론을 사용하여 RKHS에서 정규화된 해와 진짜 함수 사이의 오차를 유계로 표현할 수 있는가?
• RQ5 정규화와 노이즈 데이터를 포함한 학습 함수형의 안정성을 증명하기 위해 사용할 수 있는 일반 기법은 무엇인가?

주요 결과

• 모든 $N \to \infty$일 때, 정규화된 해 $f_{\text{min}}$는 실제 위험을 최소화하는 함수 $f_{\mathbb{E}}$로 수렴하며, 이때 $f_{\mathbb{E}} \in \mathcal{H}$여야 한다.
• 고정된 $N$의 경우에서, 적절한 조건 하에 알고리즘이 수렴하는 극한 함수 $\overline{f}$는 비정규화된, 비노이즈된 해이다.
• 오차 분해의 첫 번째 항은 디ominated 수렴 정리에 의해 $t \to \infty$일 때 0으로 수렴한다. 이는 $\phi_t(z) \to 0$ for all $z > 0$ 이고 $\nu_{\overline{f};P^*P}(\{0\}) = 0$ 이기 때문이다.
• 두 번째 항이 $t\sqrt{\lambda_t} \to \infty$일 때 0으로 수렴함으로써 정규화된 해가 진짜 함수로 수렴함을 보장한다.
• 오차 성장 제어를 위해 $\|\left(\frac{1}{N}P^*P + \lambda_t\right)^{-1}P^*\|_{\mathcal{L}(\ell_2, \mathcal{H})} \leq \frac{\sqrt{N}}{2\sqrt{\lambda_t}}$의 유계를 사용한다.
• 논문은 일반 도구—스펙트럼 분석과 보조정리 1.1—를 개발하여 정수형 함수형과 수렴을 포함한 다른 학습 문제에 적용 가능하다.