[논문 리뷰] On the Hyperprior Choice for the Global Shrinkage Parameter in the Horseshoe Prior

Juho Piironen, Aki Vehtari|arXiv (Cornell University)|2016. 10. 18.

Statistical Methods and Inference인용 수 65

한 줄 요약

이 논문은 전역 수축 매개변수 τ의 하이퍼프리오르를 선택하는 원칙적인 프레임워크를 제안하며, 이는 효과적인 비영인 계수의 수(m_eff)에 대한 사전 믿음을 연결함으로써 이루어진다. 일반적으로 사용되는 하이퍼프리오르는 흩어짐을 과도하게 추정할 수 있으며, 이를 방지하기 위해 관련 변수의 근본적인 추정치(p₀)를 기반으로 τ의 프리오르를 유도하는 것이 바람직하다. 이는 추정 정확도, 예측 성능 및 계산 효율성 향상에 기여하며, 특히 데이터에 의해 τ가 약하게 규명되는 경우에 유의미한 개선 효과가 있다.

ABSTRACT

The horseshoe prior has proven to be a noteworthy alternative for sparse Bayesian estimation, but as shown in this paper, the results can be sensitive to the prior choice for the global shrinkage hyperparameter. We argue that the previous default choices are dubious due to their tendency to favor solutions with more unshrunk coefficients than we typically expect a priori. This can lead to bad results if this parameter is not strongly identified by data. We derive the relationship between the global parameter and the effective number of nonzeros in the coefficient vector, and show an easy and intuitive way of setting up the prior for the global parameter based on our prior beliefs about the number of nonzero coefficients in the model. The results on real world data show that one can benefit greatly -- in terms of improved parameter estimates, prediction accuracy, and reduced computation time -- from transforming even a crude guess for the number of nonzero coefficients into the prior for the global parameter using our framework.

연구 동기 및 목표

• 전역 수축 매개변수 τ의 하이퍼프리오르 선택에 따라 호르스셰이프 사후 분포 추론의 민감도 문제를 해결하기 위해.
• 기본 하이퍼프리오르(예: 척도가 1인 반-카우치 분포)가 일반적으로 사전에 예상되는 것보다 더 많은 비영인 계수를 포함하는 해를 선호함을 보여주기 위해.
• 계수 벡터 내에서 비영인 계수의 효과적인 수(m_eff)와 τ 사이의 직접적인 분석적 관계를 수립하기 위해.
• 사전 믿음에 기반한 관련 변수 수(p₀)에 따라 τ의 프리오르를 구성하는 실용적이고 직관적인 방법을 제공하기 위해.
• 조금의 추정치(p₀)라도 제안된 프레임워크를 통해 변환하면 모델 성능과 계산 속도에 상당한 향상이 이루어짐을 실증적으로 보여주기 위해.

제안 방법

• 전역 수축 매개변수 τ와 비영인 계수의 효과적인 수(m_eff) 사이의 분석적 관계를 유도하며, 여기서 m_eff는 영이 아닌 계수의 기대 수로 정의된다.
• 식 (16)을 통해 p₀(관련 변수의 수)에서 하이퍼프리오르 척도 τ₀로의 변환을 제안하며, 이는 E[m_eff] ≈ p₀가 되도록 τ₀를 설정한다.
• τ|σ에 대해 반-카우치 또는 반-정규 프리오르를 사용하며, τ₀는 p₀로부터 유도함으로써 흩어짐에 대한 사전 믿음을 전역 척도에 통합한다.
• 실제 회귀 및 분류 데이터셋에 프레임워크를 적용하여 다양한 τ 하이퍼프리오르 간의 성능을 비교한다.
• 모델 성능 평가를 위해 사후 예측 검증, 평균 제곱 오차(MSE), 계산 시간(월 타임)을 사용한다.
• 특히 τ가 데이터에 의해 약하게 규명되는 경우, 식 (16)을 통해 p₀로부터 계산된 τ₀를 사용하는 반-카우치 프리오르를 권장한다.

실험 결과

연구 질문

• RQ1 전역 수축 매개변수 τ의 하이퍼프리오르 선택이 호르스셰이프 사후 분포 추론에 어떤 영향을 미치는가?
• RQ2 계수 벡터 내에서 τ와 비영인 계수의 효과적인 수(m_eff) 사이의 분석적 관계는 무엇인가?
• RQ3 기본 하이퍼프리오르(예: 척도가 1인 반-카우치 분포)는 흩어짐에 대한 사전 믿음 측면에서 왜 문제를 일으키는가?
• RQ4 관련 변수 수(p₀)에 대한 낮은 수준의 추정치를 효과적으로 τ의 더 나은 정보 기반 프리오르로 변환할 수 있는가?
• RQ5 예측 정확도, 매개변수 추정 및 계산 효율성 측면에서 제안된 방법은 LASSO 및 기본 호르스셰이프 프리오르와 어떻게 비교되는가?

주요 결과

• 기본 하이퍼프리오르(예: 척도가 1인 반-카우치 분포)는 일반적으로 사전에 예상되는 것보다 더 많은 비영인 계수를 포함하는 해를 선호하므로, τ가 데이터에 의해 약하게 규명될 경우 과적합을 유발할 수 있다.
• 제안된 프레임워크는 τ의 프리오르를 비영인 계수의 기대 효과적인 수(m_eff)와 연결함으로써, p₀에 기반한 원칙적인 τ 하이퍼프리오르 설정을 가능하게 한다.
• p₀에 대한 조잡한 추정치를 식 (16)을 통해 τ₀로 변환함으로써, 다양한 실세계 데이터셋에서 예측 정확도 향상과 계산 시간 단축이 뚜렷하게 이루어진다.
• p₀가 작을 경우 반-카우치 프리오르가 반-정규 프리오르보다 성능이 뛰어나며, 더 무거운 꼬리 덕분에 더 큰 τ 값을 허용하기 때문이다. 그러나 p₀가 진실과 너무 떨어져 있으면 둘 다 실패할 수 있다.
• 분류 문제의 경우, τ 하이퍼프리오르에 σ=2를 사용하면 회귀 문제와 약간의 유사한 결과를 얻을 수 있어, 다양한 모델 간 일관된 적용이 가능하다.
• 제안된 τ 하이퍼프리오르를 사용한 호르스셰이프는 예측 정확도 및 매개변수 추정 측면에서 LASSO를 일관되게 능가하지만, 계산 시간 측면에선 LASSO가 훨씬 빠르다.