[논문 리뷰] Variable selection for Gaussian process regression through a sparse projection

Chiwoo Park, David J. Borth외 2명|arXiv (Cornell University)|2020. 08. 24.

Gaussian Processes and Bayesian Inference인용 수 5

한 줄 요약

이 논문은 경사 하강법을 통한 전진 단계 회귀를 이용해 투영 행렬과 공분산 매개변수를 동시에 최적화하는 스퍼스 프로젝션을 사용하여 가우시안 프로세스 회귀를 위한 새로운 변수 선택 방법을 제안한다. 이 방법은 기준 방법들에 비해 뛰어난 변수 선택 정확도를 달성하며, 대기 부식 모델링에서 핵심 환경 요인을 성공적으로 규명한다.

ABSTRACT

This paper presents a new variable selection approach integrated with Gaussian process (GP) regression. We consider a sparse projection of input variables and a general stationary covariance model that depends on the Euclidean distance between the projected features. The sparse projection matrix is considered as an unknown parameter. We propose a forward stagewise approach with embedded gradient descent steps to co-optimize the parameter with other covariance parameters based on the maximization of a non-convex marginal likelihood function with a concave sparsity penalty, and some convergence properties of the algorithm are provided. The proposed model covers a broader class of stationary covariance functions than the existing automatic relevance determination approaches, and the solution approach is more computationally feasible than the existing MCMC sampling procedures for the automatic relevance parameter estimation with a sparsity prior. The approach is evaluated for a large number of simulated scenarios. The choice of tuning parameters and the accuracy of the parameter estimation are evaluated with the simulation study. In the comparison to some chosen benchmark approaches, the proposed approach has provided a better accuracy in the variable selection. It is applied to an important problem of identifying environmental factors that affect an atmospheric corrosion of metal alloys.

연구 동기 및 목표

• 고차원 입력 변수가 가우시안 프로세스 회귀의 예측 성능를 떨어뜨리고 계산 비용을 증가시키는 문제를 다루기.
• 반응 변수에 대해 감독되지 않는 전통적인 변수 선택 및 차원 축소 기법의 한계를 극복하기.
• 가우시안 프로세스 회귀에서 변수 선택과 공분산 매개변수 추정을 위한 계산 효율적인 공동 최적화 프레임워크 개발하기.
• 자동 관련도(ARD)의 스퍼스 프로젝션 기반 대안을 제시하여 해석 가능성과 성능을 향상시키기.
• 모의 데이터와 실제 대기 부식 데이터 세트를 대상으로 방법의 탄력성과 실용적 유용성을 입증하기 위해 평가 수행하기.

제안 방법

• 입력 변수의 스퍼스 프로젝션을 투영 행렬 V를 사용하여 수식화하며, z = Vx로 표현하며, V는 볼록하지 않은 스퍼스리티 페널티를 통해 스퍼스로 제약한다.
• 프로젝션된 특징 z 간의 유클리드 거리 기반 일반적인 정적 커널을 사용해 공분산 함수를 모델링한다.
• 스퍼스리티 정규화를 포함한 비볼록 마진럴 리크리얼리티 함수를 최대화함으로써 스퍼스 투영 행렬 V와 기타 GP 공분산 매개변수를 동시에 최적화한다.
• 비볼록 최적화 문제를 다루기 위해 내장된 경사 하강 단계를 포함한 전진 단계 알고리즘을 구현한다.
• 투영 행렬에서 희박한 해를 촉진하기 위해 볼록하지 않은 스퍼스리티 페널티(예: SCAD 또는 MCP 유형)를 사용하여 각 프로젝션된 특징에 기여하는 원래 변수의 부분 집합을 보장한다.
• 제안된 알고리즘의 이론적 수렴 성질을 제공하여 안정적이고 신뢰할 수 있는 최적화를 보장한다.

실험 결과

연구 질문

• RQ1 스퍼스 투영 행렬이 GP 공분산 매개변수와 효과적으로 공동 최적화되어 변수 선택 정확도를 향상시킬 수 있는가?
• RQ2 MCMC 기반 ARD 및 표준 전진 단계 선택과 같은 기준 방법들과 비교할 때, 제안된 방법의 변수 선택 성능는 어떠한가?
• RQ3 GP 회귀에서 입력 차원을 감소시킬 때, 이 방법이 예측 정확도를 유지하거나 향상시키는 정도는 어느 정도인가?
• RQ4 이 방법은 실제 데이터에서 대기 부식에 영향을 주는 의미 있는 해석 가능한 환경 요인을 식별할 수 있는가?
• RQ5 모의 연구에서 튜닝 매개변수의 선택과 다양한 데이터 차원에 대해 알고리즘이 얼마나 탄력적인가?

주요 결과

• 제안된 방법은 대부분의 모의 시나리오에서 기준 방법들보다 뛰어난 변수 선택 정확도를 달성하여 관련 입력 변수를 식별하는 데 뛰어난 성능을 보였다.
• 대기 부식 사례 연구에서 10개의 변수를 선택한 감소된 GP 모델은 모든 27개 요소를 포함한 전체 모델보다 성능이 뛰어났으며, MSE(0.0434 vs. 0.0475)와 NLPD(-1.0865 vs. -0.6035)가 낮아 예측 정확도가 향상됨을 나타내었다.
• 10개의 선택된 변수인 온도, 상대 습도, 오존(O₃), 고주파수 임피던스, 강우량은 전문 지식과 일치하여 방법의 생물학적·물리적 해석 가능성과 타당성을 입증하였다.
• 이 방법은 기존 문헌과 일치하는 바, 온도와 습도가 주요 부식 원인임을 성공적으로 규명하였다.
• 오존과 임피던스가 핵심 요소로 식별된 것은 이전의 부식 과학 연구 결과와 부합하여, 실제 응용에서의 신뢰성을 강화하였다.
• 내장된 경사 하강 단계를 포함한 전진 단계 접근법은 강한 스퍼스리티 페널리티 조건에서도 조밀한 해를 피하는 데 효과적이었으며, 표준 경사 하강법이나 준뉴턴 방법과는 대조적으로 그러한 문제를 피했다.