[논문 리뷰] Convergent Expectation Propagation in Linear Models with Spike-and-slab Priors

José Miguel Hernández-Lobato, Daniel Hernández-Lobato|arXiv (Cornell University)|2011. 12. 10.

Gaussian Processes and Bayesian Inference참고 문헌 10인용 수 3

한 줄 요약

이 논문은 스팘이크-앤드-슬랩 사전분포를 가진 선형 모델에 대해 수렴가능성이 보장되는 기대값 전파(PC-EP) 알고리즘을 제안한다. 이 알고리즘은 분산 매개변수를 양수로 제약하여 각 반복에서 최소화하는 에너지 함수가 유계가 되도록 하여 수렴성을 확보한다. 실험 결과, 표준 EP가 수렴하지 못할 경우 PC-EP는 더 우수한 사후 근사값을 제공하는 반면, 수렴이 이루어질 경우 표준 EP와 동일한 성능을 보인다.

ABSTRACT

Exact inference in the linear regression model with spike and slab priors is often intractable. Expectation propagation (EP) can be used for approximate inference. However, the regular sequential form of EP (R-EP) may fail to converge in this model when the size of the training set is very small. As an alternative, we propose a provably convergent EP algorithm (PC-EP). PC-EP is proved to minimize an energy function which, under some constraints, is bounded from below and whose stationary points coincide with the solution of R-EP. Experiments with synthetic data indicate that when R-EP does not converge, the approximation generated by PC-EP is often better. By contrast, when R-EP converges, both methods perform similarly.

연구 동기 및 목표

• 작은 훈련 세트에서 스파이크-앤드-슬랩 사전분포를 가진 선형 모델에서 표준 순차적 기대값 전파(R-EP)의 수렴 실패 문제를 해결하기 위해.
• 수렴을 보장하면서도 수렴할 경우 R-EP의 정확도를 유지하는 결정론적 근사 추론 방법을 개발하기 위해.
• 에너지 함수가 하한으로 유계가 되도록 분산 매개변수를 양수로 제약하여, 수렴을 위한 필수 조건을 확보하기 위해.
• 과소결정 회귀 설정($n \ll d$)에서 희소성이 과적합을 방지하는 데 핵심적인 역할을 할 때 R-EP의 강력한 대안을 제공하기 위해.

제안 방법

• PC-EP는 [3]의 알고리즘에 기반한 이중 루프 최적화 구조를 사용하며, 각 외부 루프는 EP 근사와 관련된 에너지 함수를 최소화한다.
• 에너지 함수가 하한으로 유계가 되도록 분산 매개변수($\tilde{v}_{2i} > 0$)에 제약을 가함으로써 수렴을 보장한다. 이는 수렴을 위한 필수 조건이다.
• PC-EP가 최소화하는 에너지 함수는 정적 점이 표준 R-EP의 固定点과 일치하도록 설계되어 있어, 수렴할 경우 원래 EP 해와의 일致성을 확보한다.
• 알고리즘은 매 반복에서 R-EP와 동일한 계산 비용 $\mathcal{O}(dn^2)$으로 사후 정밀도 행렬 $\mathbf{A}^{-1}$을 Woodbury 공식을 사용해 계산한다.
• 목적 함수의 기울기를 평가할 때 사후 근사의 근사 분산을 계산함으로써, R-EP 대비 약 두 배 정도의 상수 계수 증가가 발생한다.
• 이 방법은 향후 작업으로 남겨진 바, 빠른 최적화 기법(예: [9] 참조)과의 호환성을 고려해 설계되었지만, 이는 향후 연구 과제로 남아 있다.

실험 결과

연구 질문

• RQ1 표준 R-EP가 수렴하지 못하는 스파이크-앤드-슬랩 선형 모델에 대해 수렴가능성이 보장되는 EP의 변종을 개발할 수 있는가?
• RQ2 분산 매개변수를 양수로 유지하도록 제약을 가하면 EP 알고리즘이 수렴할 수 있으며, 정확도가 유지되는가?
• RQ3 R-EP가 수렴하지 못할 경우, 제안된 PC-EP 알고리즘의 예측 정확도는 표준 R-EP와 비교해 어떻게 되는가?
• RQ4 R-EP가 수렴하지 못할 경우, PC-EP의 사후 근사 품질은 R-EP보다 뚜렷이 뛰어나게 되는가?

주요 결과

• R-EP가 수렴하지 못할 경우, 테스트 세트에서 PC-EP의 평균 제곱오차(MSE)는 R-EP보다 유의미하게 낮으며, $\tau = 0.9$일 때 PC-EP의 평균 MSE는 0.15 ± 0.04, R-EP는 0.22 ± 0.06을 기록한다.
• R-EP가 수렴하지 못한 17개의 테스트 세트에서, 모든 덤프링 값 $\tau \in \{0.1, 0.3, 0.5, 0.7, 0.9\}$ 에서 PC-EP가 R-EP보다 낮은 평균 MSE를 달성했다.
• R-EP가 수렴한 경우(83~94세트), 양측 모두 유사한 성능을 보였으며, $\tau = 0.9$일 때 PC-EP의 평균 MSE는 0.033 ± 0.007, R-EP는 0.024 ± 0.008이었다. 이는 예측 정확도가 유사함을 시사한다.
• 수렴하지 못한 케이스의 수는 덤프링 값이 높을수록 증가하며, $\tau = 0.9$일 때 100개 세트 중 17개가 수렴하지 못했다. 이는 덤프링이 수렴 문제를 완전히 해결하지 못함을 시사한다.
• R-EP가 수렴하지 못하는 경우에도 PC-EP는 항상 R-EP보다 더 우수한 사후 근사값을 생성하여, 극단적인 소표본 환경에서의 강건성을 입증한다.