[논문 리뷰] Parameter expansion in local-shrinkage models

James G. Scott|arXiv (Cornell University)|2010. 10. 25.

Bayesian Methods and Mixture Models참고 문헌 16인용 수 12

한 줄 요약

이 논문은 베이지안 라소 및 말뚝새우 전파자리와 같은 국소 압축 모형에서의 매개변수 확장(PX)을 조사하여, 전역 분산이 0에 가까울 때 MCMC 수렴을 향상시키고자 한다. 비희박 모형에서는 PX가 강력한 성능을 보이는 반면, 희박 모형에서는 PX의 성능 향상이 미미한데 비해, 본 연구는 슬라이스 샘플링이 유사한 성능을 제공하고, PX의 적용 범위를 더 넓은 모형으로 확장함을 밝혀냈다.

ABSTRACT

This paper considers the problem of using MCMC to fit sparse Bayesian models based on normal scale-mixture priors. Examples of this framework include the Bayesian LASSO and the horseshoe prior. We study the usefulness of parameter expansion (PX) for improving convergence in such models, which is notoriously slow when the global variance component is near zero. Our conclusion is that parameter expansion does improve matters in LASSO-type models, but only modestly. In most cases this improvement, while noticeable, is less than what might be expected, especially compared to the improvements that PX makes possible for models very similar to those considered here. We give some examples, and we attempt to provide some intuition as to why this is so. We also describe how slice sampling may be used to update the global variance component. In practice, this approach seems to perform almost as well as parameter expansion. As a practical matter, however, it is perhaps best viewed not as a replacement for PX, but as a tool for expanding the class of models to which PX is applicable.

연구 동기 및 목표

• 정규 척도-혼합 사전분포 기반의 희박 베이지안 모형에서 매개변수 확장(PX)이 MCMC 수렴에 실제로 유의미한 향상을 가져오는지 평가하는 것.
• PX가 비희박 가우시안 모형에서 강력한 성능을 보이는 데 비해, 라소 유형 모형에서는 왜 성능 향상이 미미한지 이해하는 것.
• 전역 분산 성분을 갱신하기 위한 대체 샘플링 전략(예: 슬라이스 샘플링)을 탐색하는 것.
• PX가 성능 향상이 미미한 모형에서 슬라이스 샘플링이 PX의 실용적 대체 또는 보완이 될 수 있는지 평가하는 것.
• 국소 압축 매개변수의 존재로 인해 국소 압축 프레임워크에서 PX의 효과가 제한되는 구조적 이유를 밝혀내는 것.

제안 방법

• 전역 척도 매개변수 τ를 두 개의 식별되지 않은 성분인 Δ(표준정규분포)와 g²(역감마분포)로 대체하여 표준 국소 압축 모형의 매개변수 확장(PX)된 형태를 도입함. 이때 τ = |Δ|g로 정의됨.
• 후행 분포에서 Δ와 g 간의 조건부 독립성을 활용하여 τ의 자기상관도를 감소시키고, MCMC 혼합 성능을 향상시킴.
• 직접 샘플링이 높은 자기상관도를 야기하는 문제를 피하기 위해 전역 분산 성분 τ² 갱신에 슬라이스 샘플링을 적용함.
• β_j, σ², τ, 국소 압축 매개변수 λ_j의 공동 후행 조건부 분포를 유도함. 이는 조건부 코어너시티와 계층적 구조를 활용함.
• 시뮬레이션 데이터에서 표준 샘플러와 PX 게비스 샘플러를 비교하여 추적도와 자기상관 함수를 통해 수렴 성능을 평가함.
• 대부분의 사전분포에 대해 국소 압축 매개변수 λ_j를 통합하는 것은 계산적으로 불가능한데, 특히 초지수역분포-역백분포 가족과 같은 특정 가족에서는 가능함을 입증함.

실험 결과

연구 질문

• RQ1 베이지안 라소 및 말뚝새우 전파자리와 같은 국소 압축 모형에서 매개변수 확장(PX)이 MCMC 수렴에 실제로 유의미한 향상을 가져오는가?
• RQ2 비희박 가우시안 모형에서 강력한 성능을 보이는 데 비해, 희박 모형에서는 왜 PX의 성능 향상이 제한적인가?
• RQ3 슬라이스 샘플링이 이러한 모형에서 전역 분산 성분 τ에 대해 유사하거나 더 나은 수렴 성능을 제공할 수 있는가?
• RQ4 국소 압축 모형의 어떤 구조적 특성이 국소 압축 매개변수의 존재로 인해 PX의 효과를 제한하는가?
• RQ5 λ_j를 갱신하지 않고 τ를 갱신하는 'λ-통합' 게비스 샘플러를 구축하는 것이 가능할까? 그리고 기존 방법과 비교해 볼 때 어떤가?

주요 결과

• 매개변수 확장(PX)은 라소 유형 모형에서 MCMC 수렴을 향상시키지만, 비희박 가우시안 모형에서의 강력한 성능과는 달리 성능 향상이 미미함.
• PX의 성능 향상이 제한되는 이유는 국소 압축 매개변수 λ_j의 도입으로 인해 비희박 모형에서 PX의 성능 향상을 가능하게 하는 조건부 독립성의 구조가 파손되기 때문임.
• 전역 분산 τ²에 대한 슬라이스 샘플링은 수렴 속도와 자기상관도 감소 측면에서 PX와 거의 유사한 성능을 보임.
• 슬라이스 샘플링은 PX의 직접 대체는 아니지만, PX를 의미적으로 적용할 수 있는 모형의 범위를 넓혀줌.
• 대부분의 사전분포에 대해 τ 갱신 시 λ_j를 통합하는 것은 계산적으로 불가능하지만, 초지수역분포-역백분포 가족과 같은 특정 경우에서는 가능함.
• 시뮬레이션 결과에 따르면, PX는 표준 게비스 샘플링보다 τ의 자기상관도를 더 효과적으로 감소시키지만, 비희박 모형에서의 성능 향상만큼은 뚜렷하지 않음.