[논문 리뷰] PLS: a new statistical insight through the prism of orthogonal polynomials

Mélanie Blazère, Fabrice Gamboa외 1명|arXiv (Cornell University)|2014. 05. 22.

Spectroscopy and Chemometric Analyses참고 문헌 17인용 수 6

한 줄 요약

이 논문은 부분 최소 제곱법(PLS) 회귀에 대한 새로운 분석 프레임워크를 제안하며, 이를 정규 수직 다항식과 크릴로프 부분공간과 연결함으로써 설계 행렬의 고유값과 노이즈를 기반으로 잔차를 명시적으로 기술할 수 있도록 한다. 주요 기여는 저소음 조건 하에서 예측 오차에 대한 엄밀한 경계를 제공하는 새로운 명시적 공식을 도출한 것이다. 이는 고차원 회귀에서 PLS 성능에 대한 깊이 있는 이론적 통찰을 제공한다.

ABSTRACT

Partial Least Square (PLS) is a dimension reduction method used to remove multicollinearities in a regression model. However contrary to Principal Components Analysis (PCA) the PLS components are also choosen to be optimal for predicting the response $Y$. In this paper we provide a new and explicit formula for the residuals. We show that the residuals are completely determined by the spectrum of the design matrix and by the noise on the observations. Because few are known on the behaviour of the PLS components we also investigate their statistical properties in a regression context. New results on regression and prediction error for PLS are stated under the assumption of a low variance of the noise.

연구 동기 및 목표

• 부분 최소 제곱법(PLS) 회귀에 대한 새로운 이론적 이해를 제공하기 위해, 정규 수직 다항식과 크릴로프 부분공간의 관점에서 재구성한다.
• 설계 행렬의 스펙트럼과 관측 노이즈에만 의존하는 잔차에 대한 명시적이고 폐쇄형 표현식을 유도한다.
• 저소음 분산 조건 하에서 경험 리스크와 평균 제곱 예측 오차에 대한 엄밀한 경계를 설정한다.
• 고차원 설정에서 PLS 성분의 통계적 성질과 그것이 회귀 및 예측 정확도에 미치는 영향을 분석한다.
• 특히 고유값 분포와 노이즈 수준과 관련하여 PLS의 한계를 명확히 한다.

제안 방법

• PLS를 제약 조건이 있는 최소 제곱 문제로 재구성하여 역 문제 이론과 정규화 이론과 연결한다.
• 정규 수직 다항식 투영을 사용하여 PLS 성분을 설계 행렬 $X^T X$의 고유값과 고유벡터의 함수로 표현한다.
• 새로운 명시적 잔차 공식을 유도한다: $\frac{1}{n}\|\hat{Q}_k(X^T X) - Q^*_k(X^T X)\|_2^2$, 여기서 $\hat{Q}_k$와 $Q^*_k$는 경험적 및 진정한 고유값 기반 다항식 근사이다.
• 집중 부등식을 적용하여 고유벡터 노름의 경험적 추정치를 사용해 비율 $\left|\frac{\hat{Q}_k(\lambda_i)}{Q^*_k(\lambda_i)}\right|$를 경계한다.
• 소음 분산이 매우 작다는 가정 하에, $X^T X$의 스펙트럼 구조와 노이즈 분산을 사용해 예측 오차에 대한 확률적 경계를 수립한다. ($\text{Var}(\varepsilon) \ll 1$)
• 크릴로프 부분공간 프레임워크를 활용하여 PLS를 설계 행렬의 역에 대한 다항식 근사의 순서로 해석한다.

실험 결과

연구 질문

• RQ1 PLS 회귀의 잔차는 설계 행렬의 고유값 분해와 노이즈에 따라 어떻게 명시적으로 표현될 수 있는가?
• RQ2 고차원 및 노이즈가 많은 조건에서 PLS 성분의 통계적 행동은 어떠한가?
• RQ3 PLS의 예측 오차와 경험 리스크는 표본 크기와 노이즈 분산에 따라 어떻게 척도화되는가?
• RQ4 설계 행렬 $X^T X$의 스펙트럼 분포는 PLS 성능에 어떤 영향을 미치는가?
• RQ5 노이즈 분산이 무시할 수 없거나 고유값이 불안정한 경우, PLS의 이론적 한계는 무엇인가?

주요 결과

• PLS의 잔차는 $X^T X$의 고유값과 노이즈 벡터 $\varepsilon$에 의해 완전히 결정되며, 이는 식 $\frac{1}{n}\|\hat{Q}_k(X^T X) - Q^*_k(X^T X)\|_2^2$로 명시적으로 기술된다.
• 저소음 분산 조건 하에서 예측 오차는 $\frac{4k^2\tilde{C}^2}{L}\frac{\log n}{n^2}\left(1 + \frac{C}{\sqrt{L}}\sqrt{\frac{\log n}{n}}\right)\|X\beta^*\|_{W}^2$로 경계되며, 여기서 $W$는 고유값의 최대 편차에 따라 달라진다.
• 극단적 고유값($i=1$ 및 $i=n$)에 대해 비율 $\left|\frac{\hat{Q}_k(\lambda_i)}{Q^*_k(\lambda_i)}\right|$는 높은 확률로 $1 + O\left(2k\sqrt{\frac{\log n}{nL}}\right)$ 이내로 경계된다.
• 노이즈 분산이 작고 관련 성분 수 $k$가 중간 수준일 경우, 이 방법은 더 날카운 오차 경계를 달성한다.
• 분석 결과, PLS 성능은 고유값 분포와 고유벡터 추정치의 안정성에 민감하며, 특히 고차원 영역에서 그러한 영향이 두드러진다.
• 이론적 결과는 PLS 성분이 예측에 최적임과 동시에 스펙트럼 가정 하에 예측 가능한 행동을 보임을 확인하며, 이는 게놈 및 화학 분석 데이터에서의 활용을 정당화한다.