[논문 리뷰] Variable selection for Gaussian processes via sensitivity analysis of the posterior predictive distribution

Topi Paananen, Juho Piironen외 2명|Aaltodoc (Aalto University)|2017. 12. 21.

Gaussian Processes and Bayesian Inference인용 수 32

한 줄 요약

이 논문은 가우시안 프로세스 모델을 위한 두 가지 새로운 변수 선택 방법을 제안하며, 사후 예측 분포의 민감도 분 析를 통해 입력 변수를 예측적 관련성 순으로 순위 매깁니다. 자동 관련성 결정(ARD)과는 달리, ARD는 역 길이 척도에 의존하여 변동성이 크고 예측 성능와의 일치성이 떨어지지만, 제안된 KL 및 VAR 방법은 Kullback-Leibler 발산과 분산 기반 민감도를 통해 점별 관련성 추정을 계산하여 더 일관되고 예측 성능이 뛰어난 변수 순위를 도출하며, 계산 오버헤드는 최소화합니다.

ABSTRACT

Variable selection for Gaussian process models is often done using automatic relevance determination, which uses the inverse length-scale parameter of each input variable as a proxy for variable relevance. This implicitly determined relevance has several drawbacks that prevent the selection of optimal input variables in terms of predictive performance. To improve on this, we propose two novel variable selection methods for Gaussian process models that utilize the predictions of a full model in the vicinity of the training points and thereby rank the variables based on their predictive relevance. Our empirical results on synthetic and real world data sets demonstrate improved variable selection compared to automatic relevance determination in terms of variability and predictive performance.

연구 동기 및 목표

• 가우시안 프로세스 모델에서 자동 관련성 결정(ARD)의 한계를 해결하기 위해, 역 길이 척도를 변수 관련성의 대체 지표로 사용하지만 실제로 예측 성능과 일치하지 않는 경우가 많다는 점을 다룹니다.
• 훈련 데이터 근처에서 예측 민감도를 직접 평가함으로써 ARD의 실용적이고 계산 효율적인 대안을 개발합니다.
• 다양한 훈련 데이터 세트 간 변수 관련성 순위의 일관성과 신뢰성을 향상시켜 모델의 해석 가능성을 높입니다.
• 각 훈련 점에서의 예측 관련성을 계산함으로써 局소적 관련성 평가를 가능하게 하여 입력 공간의 특정 영역에서 관련성이 높은 변수를 식별합니다.
• 예측 프로젝션이나 스파이크-앤펜드 스파이크 프리오르와 같은 고비용 방법에 비해 계산 비용은 낮추면서도 강력한 예측 성능를 유지하는 경량 대안을 제공합니다.

제안 방법

• KL 방법은 특정 변수를 0으로 설정한 변형된 사후 예측 분포와 원래 사후 예측 분포 간의 Kullback-Leibler 발산을 계산하여, 그 변수를 제거했을 때 발생하는 정보 손실을 측정함으로써 예측 관련성을 평가합니다.
• VAR 방법은 변수를 제거했을 때 사후 예측 분포의 분산을 측정하여, 그 부재로 인해 발생하는 예측 불확실성을 추정함으로써 관련성을 평가합니다.
• 두 방법 모두 각 훈련 점에서 관련성 점수를 계산하여, 전역 평균을 넘어서는 점별 변수 중요도 평가가 가능합니다.
• 이 방법들은 훈련 점 근처의 전체 모델 사후 분포를 활용하여 각 변수가 예측 정확도에 기여하는 정도를 추정합니다.
• 전역 관련성 순위는 훈련 데이터 전반에 걸쳐 점별 관련성 점수를 평균화하여 도출되며, 이는 일관성과 해석 가능성 보장에 기여합니다.
• MCMC 기반 대안과 비교해도 계산이 효율적이며, 표준 GP 추론만으로도 가능하므로 실세계 응용에 실용적입니다.

실험 결과

연구 질문

• RQ1 변수 제거가 사후 예측 분포에 미치는 영향을 직접 측정함으로써 가우시안 프로세스 모델에서 변수의 예측 관련성을 더 정확하게 평가할 수 있는가?
• RQ2 다양한 데이터 세트에서 ARD와 제안된 민감도 기반 방법 간 변수 관련성 순위의 변동성은 어떻게 비교되는가?
• RQ3 점별 관련성 추정치는 전역 평균에 의해 가림을 입는 국소적 예측 중요성을 드러낼 수 있는가?
• RQ4 제안된 방법은 ARD보다 변수 수가 적은 부분 모델에서 더 뛰어난 예측 성능를 보일 수 있는가?
• RQ5 KL 및 VAR 방법은 계산 비용과 변수 순위 일관성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 KL 및 VAR 방법은 ARD에 비해 다양한 훈련 데이터 세트에서 더 일관된 변수 관련성 순위를 도출합니다. 특히 주택(Housing), 자동차(Automobile), 범죄(Crime) 데이터 세트에서 ARD는 높은 변동성을 보이며 변수 선택이 불안정합니다.
• 예측 성능 측면에서 제안된 방법은 ARD보다 변수 수가 1~3개인 부분 모델에서 뛰어나며, 특히 ARD의 변수 선택이 불안정한 주택 및 자동차 데이터 세트에서 두드러집니다.
• 콘crete 데이터 세트에서는 ARD가 후반 단계의 변수 선택에서 높은 변동성을 보였지만, 제안된 방법은 일관된 순위를 유지하여 변수 순서를 더 잘 정렬함으로써 부분 모델의 성능을 향상시켰습니다.
• KL 및 VAR 방법의 점별 관련성 추정치는 국소적 예측 중요성을 성공적으로 식별합니다. 예를 들어 진짜 잠재 함수와의 비교를 통해 특정 입력 공간 영역에서 변수 8이 매우 관련성이 높다는 점을 확인할 수 있었습니다.
• KL 방법은 사후 평균의 표준편차에 대한 도함수와 분석적으로 연결되어 있어 민감도와 예측 영향력 간의 체계적인 관계를 제공합니다.
• ARD보다 약간의 계산 비용 증가가 있었지만, 이는 여전히 계산 가능하며, 예측 프로젝션이나 MCMC 기반 스파이크-앤펜드 프리오르와 같은 다른 방법보다는 훨씬 저렴합니다.