[논문 리뷰] A Unified Parallel Algorithm for Regularized Group PLS Scalable to Big Data

Pierre Lafaye de Micheaux, Benoît Liquet외 1명|arXiv (Cornell University)|2017. 02. 23.

Spectroscopy and Chemometric Analyses참고 문헌 44인용 수 4

한 줄 요약

이 논문은 정규화된 그룹 PLS를 위한 통합된 병렬 알고리즘을 제안하며, 네 가지 표준 PLS 변형식(PLSC, PLS-A, PLS-B, PLS-R)에 희소 및 그룹 희소 정규화를 통합하여 대용량 데이터에 스케일링할 수 있도록 한다. 이 알고리즘은 SVD 기반 최적화와 소프트 임계처리를 활용하여 변수 선택과 계산 효율성을 달성하며, 이론적 증명과 고차원 데이터 분석을 위한 확장 가능한 R 구현체인 bigsgPLS 패키지가 함께 제공된다.

ABSTRACT

Partial Least Squares (PLS) methods have been heavily exploited to analyse the association between two blocs of data. These powerful approaches can be applied to data sets where the number of variables is greater than the number of observations and in presence of high collinearity between variables. Different sparse versions of PLS have been developed to integrate multiple data sets while simultaneously selecting the contributing variables. Sparse modelling is a key factor in obtaining better estimators and identifying associations between multiple data sets. The cornerstone of the sparsity version of PLS methods is the link between the SVD of a matrix (constructed from deflated versions of the original matrices of data) and least squares minimisation in linear regression. We present here an accurate description of the most popular PLS methods, alongside their mathematical proofs. A unified algorithm is proposed to perform all four types of PLS including their regularised versions. Various approaches to decrease the computation time are offered, and we show how the whole procedure can be scalable to big data sets.

연구 동기 및 목표

• PLSC, PLS-A, PLS-B, PLS-R의 네 가지 주요 PLS 방법을 단일 계산 프레임워크로 통합한다.
• 이들 방법을 희소 및 그룹 희소 정규화로 확장하여 고차원 데이터에서의 변수 선택 및 해석 가능성 향상에 기여한다.
• 대규모 데이터, 즉 많은 수의 변수와 관측치를 처리할 수 있는 확장 가능하고 병렬 처리 가능한 알고리즘을 개발한다.
• PLS에서 SVD 기반 최적화와 정규화에 대한 완전한 수학적 기반과 증명을 제공한다.
• 유전체학, 뇌영상 등 대용량 데이터 응용 분야에서의 실용적 사용을 위해 R에 구현된 bigsgPLS 패키지로 알고리즘을 제공한다.

제안 방법

• 결손화된 데이터 행렬의 SVD를 통해 잠재 성분을 반복적으로 계산하는 통합 알고리즘 프레임워크를 사용한다.
• 소프트 임계처리 연산자 $ g^{\textrm{soft}} $ 를 적용하여 성분 가중치에 희소성을 강제로 부여하며, 정규화 파라미터 $ \lambda_1 $ 과 $ \lambda_2 $ 를 사용한다.
• 성분 간의 직교성을 유지하기 위해 정규화된 가중치 $ \tilde{\boldsymbol{w}}_h $ 를 직교 투영 $ \mathcal{P}_{\tilde{\boldsymbol{W}}_{\bullet h-1}^{\perp}} $ 를 통해 유도한다.
• 변수 그룹 전체를 선택할 수 있도록 소프트 임계처리 접근법을 확장하여 그룹 희소 정규화를 통합한다.
• 수치적 안정성과 반복적 결손화 단계에서의 직교성을 확보하기 위해 Moore-Penrose 역행렬과 투영 행렬을 활용한다.
• 성분별 최적화를 분리함으로써 병렬 계산을 가능하게 하며, 분산 처리에 적합한 행렬 연산을 활용한다.

실험 결과

연구 질문

• RQ1 네 가지 주요 PLS 변형식(PLSC, PLS-A, PLS-B, PLS-R)을 정규화와 함께 단일 알고리즘 프레임워크로 통합할 수 있는가?
• RQ2 결손화된 행렬의 SVD와 최소 제곱 최적화 사이의 수학적 관계는 무엇이며, 이는 PLS에서 정규화를 가능하게 하는가?
• RQ3 희소 및 그룹 희소 정규화를 체계적으로 PLS에 통합하여 변수 선택과 모델의 해석 가능성 향상에 기여할 수 있는가?
• RQ4 고차원, 다중공선성, 대용량 샘플 데이터 세트에 대응하기 위해 PLS 알고리즘을 스케일링하기 위한 계산 전략은 무엇인가?
• RQ5 제안된 알고리즘이 시뮬레이션 및 실제 데이터에서 기존의 희소 PLS 방법에 비해 계산 효율성과 정확성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 통합 알고리즘은 네 가지 PLS 변형식과 그 정규화된 형태를 일관된 수학적 유도를 바탕으로 단일이고 통합된 프레임워크로 성공적으로 통합한다.
• SVD 기반 성분에 소프트 임계처리를 적용함으로써 효과적인 변수 선택이 가능하며, 최적의 성분 가중치는 $ \tilde{u}_i = g^{\textrm{soft}}((\boldsymbol{M}\boldsymbol{v})_i, \lambda_1) $ 를 통해 유도된다.
• 반복적 결손화와 직교 투영을 통해 알고리즘이 계산적 확장성을 확보하여 대규모 데이터의 효율적 처리가 가능하다.
• 투영 행렬 $ \mathcal{P}_{\tilde{\boldsymbol{W}}_{\bullet h-1}^{\perp}} $ 를 통해 성분 간의 직교성을 유지함으로써 안정적이고 해석 가능한 성분 추출이 보장된다.
• R 패키지 bigsgPLS 에서의 구현은 병렬 계산을 지원하며, 유전체학과 뇌영상 등 실제 응용 분야에 적합하도록 설계되어 있다.
• 시뮬레이션 데이터에 대한 실증 평가 결과, 이론적 신호를 정확히 복원하고, 희소성 조건 하에서 표준 PLS에 비해 변수 선택 및 예측 정확도에서 뛰어난 성능을 보였다.