[논문 리뷰] Light and Widely Applicable MCMC: Approximate Bayesian Inference for Large Datasets

Florian Maire, Nial Friel외 1명|arXiv (Cornell University)|2015. 03. 13.

Markov Chains and Monte Carlo Methods참고 문헌 39인용 수 3

한 줄 요약

이 논문은 데이터 기반의 고정된 부분집합을 사용하여 노이즈가 있는 메트로폴리스-하스팅스 커널을 시뮬레이션하는 새로운 근사 베이지안 추론 방법인 LWA-MCMC(Light and Widely Applicable MCMC)를 소개한다. 요약 통계량을 활용해 부분집합 추출을 이끌어내어, 강력한 이론적 보장을 유지하면서도 대규모 데이터셋에서 기존 방법보다 뛰어난 성능을 발휘하며, 특히 i.i.d. 지수족 모형에서 뛰어난 성능을 보인다.

ABSTRACT

Light and Widely Applicable (LWA-) MCMC is a novel approximation of the Metropolis-Hastings kernel targeting a posterior distribution defined on a large number of observations. Inspired by Approximate Bayesian Computation, we design a Markov chain whose transition makes use of an unknown but fixed, fraction of the available data, where the random choice of sub-sample is guided by the fidelity of this sub-sample to the observed data, as measured by summary (or sufficient) statistics. LWA-MCMC is a generic and flexible approach, as illustrated by the diverse set of examples which we explore. In each case LWA-MCMC yields excellent performance and in some cases a dramatic improvement compared to existing methodologies.

연구 동기 및 목표

• 전체 데이터의 우도 평가가 비용이 너무 많이 들기 때문에 대규모 데이터셋에서 표준 MCMC 방법의 계산 비용이 지나치게 높아지는 문제를 해결하기 위해.
• 메트로폴리스-하스팅스 알고리즘의 단순성은 유지하면서도 대규모 데이터에까지 확장 가능한 일반적이고 융통성 있고 널리 적용 가능한 MCMC 프레임워크를 개발하기 위해.
• 각 반복에서 고정된 비율의 데이터만 사용하여 계산 비용을 줄이되, 요약 통계량을 통한 부분집합의 정밀도를 기반으로 유도된 부분집합 추출을 통해.
• 부분집합 추출에 의해 유도된 근사 사후분포와 진짜 사후분포 사이의 쿨백-라이블러 발산을 제한함으로써 이론적 타당성을 확보하기 위해.
• 수용 결정에 대한 신뢰도를 확보하기 위해 대규모 부분집합이 필요한 기존의 노이즈가 있는 MCMC 방법들보다 뛰어난 성능을 보여주기 위해.

제안 방법

• LWA-MCMC는 전체 데이터 우도 비율을 고정 크기의 무작위로 선택된 부분집합 $ U $를 사용하여 근사화함으로써 노이즈가 있는 메트로폴리스-하스팅스 커널을 구성한다. 여기서 $ |U| = n $이다.
• 부분집합 $ U $는 전체 데이터의 요약 통계량 $ \sum_{k=1}^N S(Y_k) $ 와의 유사도, 즉 부분집합의 요약 통계량 $ \sum_{k \in U} S(Y_k) $ 의 가까움을 기반으로 선택된다.
• 수락 확률은 부분집합된 우도 비율을 사용하여 계산되며, 이는 진짜 사후분포 $ \pi $ 를 근사하는 노이즈가 있는 전이 커널을 형성한다.
• 이 방법은 KL 발산 $ \text{KL}(\pi \| \tilde{\pi}_U) $ 를 최소화함으로써 마코프 체인의 정적분포가 진짜 사후분포에 가까워지도록 보장한다. 이 발산은 농도 및 모멘트 부등식을 사용하여 유계로 제한된다.
• 이론적 분석에 따르면, $ \| \xi_U \| = \left\| \frac{1}{n} \sum_{k \in U} S(Y_k) - \frac{1}{N} \sum_{k=1}^N S(Y_k) \right\| $ 를 최소화하는 것이 근사 오차의 더 좁은 유계를 이끌어낸다.
• 이 프레임워크는 지수족 모형에 적용 가능하며, 충분통계량을 통해 비i.i.d. 설정으로 자연스럽게 확장된다.

실험 결과

연구 질문

• RQ1 고정된, 데이터 기반의 관측 부분집합을 사용하여 대규모 베이지안 모형에 대해 유효하고 확장 가능한 MCMC 샘플러를 구성할 수 있는가?
• RQ2 부분집합 추출을 어떻게 이끌어내야 진짜 사후분포와 부분집합 사후분포 사이의 근사 오차를 최소화할 수 있는가?
• RQ3 LWA-MCMC는 정확도를 희생시키지 않으면서도 기존의 노이즈가 있는 MCMC 방법보다 더 뛰어난 계산 효율성을 달성할 수 있는가?
• RQ4 부분집합 추출 하에 유도된 마코프 체인의 정적분포에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 이 방법은 i.i.d. 데이터와 지수족 모형을 초월하여 일반화될 수 있는가?

주요 결과

• LWA-MCMC는 각 반복에서 전체 관측치 $ N $ 을 모두 처리할 필요 없이 고정된 작은 비율의 데이터만 사용함으로써 계산 비용을 극적으로 감소시킨다.
• 이 방법은 Korattikara 등(2014)과 Bardenet 등(2014)의 기존의 노이즈가 있는 MCMC 접근법보다 뚜렷이 뛰어나며, 이들은 수용 결정에 대한 신뢰도를 확보하기 위해 종종 대규모 부분집합이 필요로 한다.
• 이론적 분석에 따르면, 진짜 사후분포 $ \pi $ 와 근사 사후분포 $ \tilde{\pi}_U $ 사이의 KL 발산은 유계이며, 이 유계는 부분집합의 요약 통계량이 전체 데이터의 것과 가까울수록 최소화된다.
• KL 발산의 유계는 편차 $ \| \xi_U \| $ 에 의존하며, 부분집합 선택을 통해 이 편차를 최소화함으로써 더 좁은 근사와 더 나은 혼합 성능을 달성할 수 있다.
• 실험 결과는 매개변수 추정 및 분류 작업에서 뛰어난 성능을 보이며, 이는 실제 대규모 데이터셋에서의 실용적 유용성을 확인한다.
• 이 방법은 i.i.d. 설정을 초월하여 적용 가능하며, 적절한 충분통계량이 제공된다면 비지수족 모형으로도 확장 가능하다.