[논문 리뷰] Deep Learning Partial Least Squares

Nicholas Polson, Vadim Sokolov외 1명|arXiv (Cornell University)|2021. 06. 26.

Spectroscopy and Chemometric Analyses참고 문헌 47인용 수 6

한 줄 요약

이 논문은 부분 최소 제곱법(Partial Least Squares, PLS)에 딥러닝을 통합하여 비선형성, 확장성, 해석 가능성 및 불확실성 정량화를 가능하게 하는 DL-PLS(Depth Learning Partial Least Squares) 프레임워크를 제안한다. SVD 기반의 특징 추출을 통해 X-스코어를 기반으로 Y-스코어를 딥러닝 모델로 모델링함으로써, 기존 방법에 비해 와인 품질 및 오렌지 주스 선호도 데이터셋에서 뛰어난 예측 성능을 달성하며, 스크리 플롯과 MCMC 기반 베이지안 불확실성 등 진단 도구를 제공한다.

ABSTRACT

High dimensional data reduction techniques are provided by using partial least squares within deep learning. Our framework provides a nonlinear extension of PLS together with a disciplined approach to feature selection and architecture design in deep learning. This leads to a statistical interpretation of deep learning that is tailor made for predictive problems. We can use the tools of PLS, such as scree-plot, bi-plot to provide model diagnostics. Posterior predictive uncertainty is available using MCMC methods at the last layer. Thus we achieve the best of both worlds: scalability and fast predictive rule construction together with uncertainty quantification. Our key construct is to employ deep learning within PLS by predicting the output scores as a deep learner of the input scores. As with PLS our X-scores are constructed using SVD and applied to both regression and classification problems and are fast and scalable. Following Frank and Friedman 1993, we provide a Bayesian shrinkage interpretation of our nonlinear predictor. We introduce a variety of new partial least squares models: PLS-ReLU, PLS-Autoencoder, PLS-Trees and PLS-GP. To illustrate our methodology, we use simulated examples and the analysis of preferences of orange juice and predicting wine quality as a function of input characteristics. We also illustrate Brillinger's estimation procedure to provide the feature selection and data dimension reduction. Finally, we conclude with directions for future research.

연구 동기 및 목표

• 딥러닝의 투명성 부족 문제와 통계적 해석 가능성 간 격차를 메우기 위해 딥러닝을 부분 최소 제곱법(PLS)에 통합한다.
• 특징 선택, 아키텍처 설계 및 모델 진단 기능을 갖춘 통계적으로 해석 가능한 비선형 PLS 확장 모델을 제공한다.
• 최종 레이어에서 MCMC를 활용해 딥러닝의 불확실성 정량화를 가능하게 하여 확장성과 통계적 엄밀함을 결합한다.
• PLS를 PLS-ReLU, PLS-Autoencoder, PLS-Trees, PLS-GP 등 새로운 아키텍처로 확장하여 다양한 예측 과제에 대응한다.
• 변수 확장 및 Brillinger 추정법을 활용하여 와인 품질 및 오렌지 주스 선호도와 같은 실세계 데이터셋에서 프레임워크의 효과성을 입증한다.

제안 방법

• 입력 데이터 X에 대해 SVD를 적용하여 X-스코어(T)를 계산하며, 이는 딥러닝을 위한 저차원 특징으로 기능한다.
• Y-스코어(U)를 X-스코어(T)의 딥 네ural 네트워크(G_L)로 모델링함으로써, PLS의 차원 축소 기능을 유지하면서도 비선형 예측을 가능하게 한다.
• Stein의 보조정리 기반 Brillinger 추정 절차를 적용하여 데이터로부터 비선형 활성화 함수(예: ReLU, tanh)를 복원한다.
• 최종 레이어에서 MCMC 기법을 활용해 사후 예측 불확실성을 확보함으로써, 딥러닝 환경에서의 통계적 추론을 가능하게 한다.
• PLS 적용 이전에 변수 확장(예: 제곱항 및 상호작용 항)을 적용하여 비선형 모델링 능력을 향상시킨다.
• 새로운 PLS 변형 도입: PLS-ReLU(ReLU 활성화), PLS-Autoencoder(노이즈 제거 오토인코더), PLS-Trees(트리 기반), PLS-GP(가우시안 프로세스)를 통해 다각적 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝을 부분 최소 제곱법에 체계적으로 통합하여 비선형성, 해석 가능성, 확장성 확보가 가능한 예측 프레임워크를 구축할 수 있는가?
• RQ2 딥러닝 환경에서도 스크리 플롯과 비플롯과 같은 모델 진단 도구를 유지하여 특징 선택 및 아키텍처 설계에 기여할 수 있는가?
• RQ3 기본 딥러닝 및 전통적 PLS에 비해 DL-PLS 프레임워크가 예측 정확도 및 불확실성 정량화 측면에서 얼마나 향상되는가?
• RQ4 PLS 기반 특징 추출을 활용한 딥러닝 환경에서 Brillinger 방법이 비선형 활성화 함수(예: ReLU, tanh)를 데이터로부터 회복할 수 있는가?
• RQ5 DL-PLS 프레임워크는 와인 품질 및 오렌지 주스 선호도와 같은 실세계 고차원 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• 와인 품질 데이터셋에서, 확장된 77개 변수를 사용한 PLS는 0.60의 샘플 외 정확도를 기록했으며, OLS(0.575)와 PCR(0.595)를 모두 초월했다.
• 77-16-32-16-6 아키텍처를 가진 딥 네ural 네트워크는 88.9%의 샘플 외 분류 정확도를 달성했으며, Brillinger의 방법 적용 후 약간 감소하여 88.5%로 하락했다.
• 시뮬레이션 연구를 통해 DL-PLS 프레임워크는 Brillinger 추정 절차를 통해 ReLU 및 tanh 활성화 함수를 성공적으로 회복했다.
• 변수 확장(제곱항 및 상호작용 항)을 통한 모델링은 OLS, PCR, PLS 등 모든 선형 모델에서 모델 적합도 및 샘플 외 성능을 크게 향상시켰다.
• 스크리 플롯과 비플롯은 DL-PLS 프레임워크에서 잠재 요인 선택을 위한 모델 구성 요소 진단 및 안내에 효과적으로 활용되었다.
• 최종 레이어에서 MCMC를 통해 사후 예측 불확실성이 성공적으로 정량화되었으며, 이는 딥러닝 환경에서의 통계적 추론 가능성을 보장했다.