[논문 리뷰] Bayesian Sparsity for Intractable Distributions

John Ingraham, Debora S. Marks|arXiv (Cornell University)|2016. 02. 11.

Gaussian Processes and Bayesian Inference참고 문헌 43인용 수 7

한 줄 요약

이 논문은 비가역 정규화 상수를 가진 계층적 베이지안 모델에서 사후 분포 근사의 정확도를 향상시키기 위해 비중앙화 파arameterization을 사용하는 변분 추론 방법인 Fadeout을 소개한다. 확률적 변분 추론을 비방향 모델로 확장하고 비중앙화 사전분포를 활용하여, 비가역 정규화 상수를 가진 모델에서 희소 및 그룹 희소 추론의 정확도를 향상시킨다.

ABSTRACT

Bayesian approaches for single-variable and group-structured sparsity outperform L1 regularization, but are challenging to apply to large, potentially intractable models. Here we show how noncentered parameterizations, a common trick for improving the efficiency of exact inference in hierarchical models, can similarly improve the accuracy of variational approximations. We develop this with two contributions: First, we introduce Fadeout, an approach for variational inference that uses noncentered parameterizations to capture a posteriori correlations between parameters and hyperparameters. Second, we extend stochastic variational inference to undirected models, enabling efficient hierarchical Bayes without approximations of intractable normalizing constants. We find that this framework substantially improves inferences of undirected graphical models under both sparse and group-sparse priors.

연구 동기 및 목표

• 정확한 추론이 계산적으로 비용이 많이 들기 때문에, 큰 크기의 비가역 모델에 베이지안 희소성 방법을 적용하는 데 도전하는 데에 대비하기 위해.
• 모수와 초모수 간의 사후 상관관계를 포착함으로써 계층적 모델에서 변분 추론의 정확도를 향상시키기 위해.
• 비가역 정규화 상수의 근사 없이 확률적 변분 추론을 비방향 그래픽 모델로 확장하기 위해.
• 복잡한 비가역 가능도를 가진 모델에서 그룹 구조와 단일 변수 희소성에 대한 확장 가능한 프레임워크를 개발하기 위해.
• 비중앙화 파arameterization이 희소 베이지안 모델에서 변분 추론 성능을 향상시킨다는 것을 보여주기 위해.

제안 방법

• 모수와 초모수 간의 계층적 의존성을 모델링하기 위해 비중앙화 파arameterization을 적용하는 변분 추론 프레임워크인 Fadeout을 제안한다.
• 잠재 변수와 초모수 간의 상관관계를 더 잘 포착함으로써 사후 분포 근사의 정확도를 향상시키기 위해 비중앙화 파arameterization을 사용한다.
• 재파arameterization 기법을 통해 비가역 정규화 상수의 근사를 피하고, 비방향 모델로 확장된 확률적 변분 추론을 구현한다.
• 비가역 가능도를 가진 모델에서 효율적인 기울기 기반 최적화를 가능하게 하기 위해 공동 사후분포의 재파arameterized 형태를 사용한다.
• 희소 및 그룹 희소 사전분포에 모두 적용하여 고차원이고 복잡한 모델에서 정확한 추론을 가능하게 한다.
• 계층적 모델의 구조를 활용하여 계산 복잡도를 과도하게 증가시키지 않고도 변분 근사의 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 비중앙화 파arameterization은 비가역 사후분포를 가진 계층적 베이지안 모델에서 변분 추론의 정확도를 향상시킬 수 있는가?
• RQ2 비가역 정규화 상수의 근사를 피하면서 확률적 변분 추론을 비방향 그래픽 모델로 어떻게 확장할 수 있는가?
• RQ3 Fadeout은 희소 및 그룹 희소 추론 과제에서 표준 L1 정규화와 중심화 파arameterization보다 얼마나 더 우수한 성능을 보이는가?
• RQ4 고차원 모델에서 비중앙화 파arameterization은 모수와 초모수 간의 사후 상관관계를 얼마나 잘 포착하는가?
• RQ5 비중앙화 파arameterization은 비가역 모델에 대한 변분 추론의 수렴성과 안정성에 어떤 영향을 미치는가?

주요 결과

• Fadeout은 비중앙화 파arameterization을 통해 모수와 초모수 간의 사후 상관관계를 포착함으로써 변분 추론의 정확도를 크게 향상시킨다.
• 비가역 정규화 상수의 근사를 피함으로써 비방향 그래픽 모델에서 계층적 베이지안 추론을 스케일러블하게 가능하게 한다.
• 희소 및 그룹 희소 설정에서 표준 중심화 접근법에 비해 비중앙화 파arameterization이 더 정확한 사후 근사 분포를 제공한다.
• 단일 변수 및 그룹 구조 희소성 시나리오 양쪽에서 L1 정규화보다 뛰어난 성능을 보여준다.
• 복잡한 모델에서 더 나은 사후 커버리지와 낮은 근사 오차를 달성하면서도 계산 효율성을 유지한다.
• 실험 결과는 비가역 분포를 효과적으로 처리함을 보여주며, 특히 고차원 및 구조 희소 문제에서 뛰어난 성능을 발휘한다.