[논문 리뷰] Bayesian Coreset Construction via Greedy Iterative Geodesic Ascent

Trevor Campbell, Tamara Broderick|arXiv (Cornell University)|2018. 02. 05.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 17

한 줄 요약

이 논문은 사후 분포 근사 오차를 최소화하기 위해 코어셋 로그우도를 최적화하여 스케일링하는 새로운 베이지안 코어셋 구축 알고리즘인 탐욕적 반복 지오데식 상승(Greedy Iterative Geodesic Ascent, GIGA)을 제안한다. 로그우도 벡터의 다양체 위에서 지오데식 상승을 활용함으로써 GIGA는 코어셋 크기의 증가에 따라 오차가 기하급수적으로 감소하는 성능을 달성하며, 기존 방법들과 비교해 사후 불확실성 근사 오차를 수개월 수준으로 감소시키면서도 빠른 계산을 유지한다.

ABSTRACT

Coherent uncertainty quantification is a key strength of Bayesian methods. But modern algorithms for approximate Bayesian posterior inference often sacrifice accurate posterior uncertainty estimation in the pursuit of scalability. This work shows that previous Bayesian coreset construction algorithms---which build a small, weighted subset of the data that approximates the full dataset---are no exception. We demonstrate that these algorithms scale the coreset log-likelihood suboptimally, resulting in underestimated posterior uncertainty. To address this shortcoming, we develop greedy iterative geodesic ascent (GIGA), a novel algorithm for Bayesian coreset construction that scales the coreset log-likelihood optimally. GIGA provides geometric decay in posterior approximation error as a function of coreset size, and maintains the fast running time of its predecessors. The paper concludes with validation of GIGA on both synthetic and real datasets, demonstrating that it reduces posterior approximation error by orders of magnitude compared with previous coreset constructions.

연구 동기 및 목표

• 기존 베이지안 코어셋 방법에서 코어셋 로그우도의 비최적 스케일링으로 인해 사후 분산이 과소평가되는 문제를 해결하기 위해.
• 사후 분포 근사 오차에 대한 이론적 보장을 유지하면서도 효율적으로 스케일링할 수 있는 코어셋 구축 알고리즘을 개발하기 위해.
• 코어셋 크기의 함수로 사후 분포 근사 오차가 기하급수적으로 감소하도록 보장함으로써, 다양한 모델에서 균일하게 유한한 상대 오차를 확보하기 위해.
• 합성 및 실제 베이지안 추론 작업에서 기존 코어셋 구축 방법을 능가하는 성능을 보이는 방법을 제공하기 위해.

제안 방법

• GIGA는 로그우도 함수 공간 내에서 카디널리티 제약이 있는 벡터 근사 문제로 코어셋 구축을 공식화한다.
• 기하학적 거리가 전체 데이터 로그우도 벡터와 최대가 되도록 하기 위해, 반복적으로 데이터 포인트를 선택하고 가중치를 업데이트하는 탐욕적 반복 지오데식 상승을 사용한다.
• 알고리즘은 로그우도 벡터의 다양체 위에서 작동하여 리만 기하학 프레임워크 하에서 전체 데이터 우도와 최적의 정렬을 보장한다.
• 각 단계에서 GIGA는 단위 구면 위의 제약 최적화를 통해 최적의 가중치 업데이트를 계산함으로써 우도 공간의 기하학적 구조를 유지한다.
• 전체 헤시안 행렬 계산을 피하고 국소 지오데식 근사에 의존함으로써 계산 효율성을 유지한다.
• 코어셋 로그우도가 전체 데이터 로그우도와 최적으로 스케일링되도록 보장하여 인위적 데이터 팽창을 방지한다.

실험 결과

연구 질문

• RQ1 기존의 베이지안 코어셋 방법에서 로그우도 스케일링이 비최적일 경우, 사후 분산이 체계적으로 과소평가되는가?
• RQ2 사후 분포 근사 오차가 증명 가능하게 더 나은 성능을 보일 수 있는 기하학적 프레임워크는 존재하는가?
• RQ3 우도 다양체 위에서 탐욕 알고리즘이 코어셋 크기 증가에 따라 사후 분포 근사 오차를 기하급수적으로 감소시킬 수 있는가?
• RQ4 최적의 로그우도 스케일링이 다양한 통계 모델에서 균일하게 유한한 상대 오차를 보장하는가?
• RQ5 GIGA는 후행 분석을 통해 기존 코어셋 방법과 비교해 사후 정확도와 계산 비용 측면에서 어떻게 성능을 냈는가?

주요 결과

• GIGA는 합성 및 실제 데이터셋에서 이전의 코어셋 구축 방법에 비해 사후 근사 오차를 수개월 수준으로 감소시킨다.
• 정리 3.1과 3.2에서 증명된 lin, 코어셋 크기의 함수로 사후 근사 오차가 기하급수적으로 감소하는 성능을 달성한다.
• 기존 방법들과 달리, GIGA는 작고 작은 코어셋 크기의 극한에서도 모든 모델에서 균일하게 유한한 상대 오차를 유지한다.
• GIGA의 최적 로그우도 스케일링은 인위적 데이터 팽창을 방지하여 더 정확한 불확실성 정량화를 가능하게 한다.
• 회귀 모델과 합성 벡터 근사 문제에 대한 실증 검증을 통해 GIGA가 사후 분산을 잘 유지하는 데서 뛰어난 성능을 보였다.
• 최첨단 코어셋 알고리즘과 동일한 계산 복잡도를 유지하면서도 사후 정확도를 크게 향상시켰다.