[논문 리뷰] Sparse Variational Inference: Bayesian Coresets from Scratch

Trevor Campbell, Boyan Beronov|arXiv (Cornell University)|2019. 06. 07.

Gaussian Processes and Bayesian Inference참고 문헌 59인용 수 4

한 줄 요약

이 논문은 지수형 가족 내에서 스파arsity 제약이 있는 변분 추론으로서 코어셋 선택을 공식화하여, 베이지안 코어셋 구축을 위한 완전 자동화된 희박한 변분 추론 프레임워크를 제안한다. 이 방법은 코어셋 사후분포의 리만 다양체 위에서 탐욕적 최적화를 사용하여, 이전 방법들에 비해 오브젝트 오브 매개변수의 오차를 수십만 배 이상 낮춘 상태에서 최신 기술 수준의 사후분포 근사 성능을 달성한다. 이는 고정된 탄성 평면 근사에 의해 제한되는 이전 방법들과 대비된다.

ABSTRACT

The proliferation of automated inference algorithms in Bayesian statistics has provided practitioners newfound access to fast, reproducible data analysis and powerful statistical models. Designing automated methods that are also both computationally scalable and theoretically sound, however, remains a significant challenge. Recent work on Bayesian coresets takes the approach of compressing the dataset before running a standard inference algorithm, providing both scalability and guarantees on posterior approximation error. But the automation of past coreset methods is limited because they depend on the availability of a reasonable coarse posterior approximation, which is difficult to specify in practice. In the present work we remove this requirement by formulating coreset construction as sparsity-constrained variational inference within an exponential family. This perspective leads to a novel construction via greedy optimization, and also provides a unifying information-geometric view of present and past methods. The proposed Riemannian coreset construction algorithm is fully automated, requiring no problem-specific inputs aside from the probabilistic model and dataset. In addition to being significantly easier to use than past methods, experiments demonstrate that past coreset constructions are fundamentally limited by the fixed coarse posterior approximation; in contrast, the proposed algorithm is able to continually improve the coreset, providing state-of-the-art Bayesian dataset summarization with orders-of-magnitude reduction in KL divergence to the exact posterior.

연구 동기 및 목표

• 기존의 베이지안 코어셋 방법들이 사용자에 의해 지정된 근사 사후분포에 의존하는 자동화 부족 문제를 해결하기 위해.
• 모델과 데이터 이외의 문제에 특화된 입력이 필요 없도록 코어셋 구축을 위한 접근을 제거하기 위해.
• 이론적으로 탄탄하고 확장 가능한 코어셋 방법을 개발하고, 사후분포 근사 보장 조건을 입증하기 위해.
• 리만 정보 기하학적 관점에서 이전의 코어셋 방법들을 통합하고 확장하기 위해.
• 코어셋 다양체를 따라 지속적인 개선이 이루어지는 것이 고정된 탄성 평면 방법보다 우수한 사후분포 근사 성능을 제공하는지 확인하기 위해.

제안 방법

• 지수형 가족 내에서 스파arsity 제약이 있는 변분 추론으로 코어셋 구축을 공식화하여, KL 발산의 기울기 추정이 가능하도록 한다.
• 코어셋 사후분포의 리만 다양체 위에서 탐욕적 최적화 알고리즘을 사용하여 반복적으로 코어셋을 개선한다.
• 코어셋 사후분포와 진짜 사후분포 사이의 KL 발산에 대한 편향 없는 기울기 추정을 사용하여 선택을 이끌어낸다.
• 지수형 가족 모델에서 사후분포 공분산과 평균에 대한 닫힌 형태의 표현식을 유도하여 정확한 계산이 가능하게 한다.
• 리만 기하학을 적용하여 이전의 코어셋 방법들(예: 힐버트 코어셋)을 모두 동일한 탄성 평면 내에서 작동하는 것으로 통합하고, 제안된 방법은 다양체를 따라 진화하도록 한다.
• 탐욕적 최적화를 위한 학습률 스케줄링 $\gamma_t = t^{-1}$ 을 도입하여 반복 선택 과정에서 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 사용자에 의해 지정된 근사 사후분포가 필요 없이 코어셋 구축을 완전히 자동화할 수 있는가?
• RQ2 코어셋 사후분포의 리만 다양체를 따라 작동하는 것이 고정된 탄성 평면 방법보다 더 나은 사후분포 근사 성능을 제공하는가?
• RQ3 지수형 가족 내에서 희박한 변분 추론이 코어셋 최적화를 위한 편향 없는 기울기 추정과 계산 가능성을 보장할 수 있는가?
• RQ4 다양한 모델과 데이터셋에서 제안된 방법이 정확한 사후분포에 비해 KL 발산 측면에서 얼마나 정량적으로 우수한가?
• RQ5 기존의 코어셋 구축 기법들에 비해 제안된 방법의 계산 비용은 어떠한가?

주요 결과

• 제안된 리만 코어셋 구축 알고리즘이 이전 방법들보다 정확한 사후분포에 비해 오브젝트 오브 매개변수의 오차를 수십만 배 이상 낮춘다. 특히 코어셋 크기가 150을 넘어서면 더욱 두드러진다.
• 이전 방법들인 GIGA 는 고정된 탄성 평면 근사에 의해 본질적으로 제한되며, 코어셋 크기가 증가함에 따라 사후분포 근사 품질이 제한된다.
• 현실적인 근사 사후분포를 선택하더라도, GIGA 와 같은 이전 방법들은 균일한 서브샘플링보다도 성능이 열 劣함을 보이며, 입력 품질에 매우 민감함을 보인다.
• 이론적으로 비현실적인 가정 $\hat{\pi} \approx \pi_1$ 이 필요 없이도 제안된 방법은 GIGA (Optimal) 보다 KL 발산 감소 측면에서 뛰어나다.
• 모델과 데이터 이외의 문제에 특화된 튜닝 없이도 완전히 자동화되어 있으며, 입력으로 오직 확률적 모델과 데이터만 필요로 한다.
• 최적의 사후분포가 가용하지 않은 상황에서, 반복적 기울기 업데이트로 인해 힐버트 코어셋 구축보다 느리지만, SparseVI 는 합리적인 코어셋 크기에서 KL 발산을 크게 감소시키는 唯一의 실용적인 방법이다.