[논문 리뷰] Exploiting the Statistics of Learning and Inference

Max Welling|arXiv (Cornell University)|2014. 02. 26.

Gaussian Processes and Bayesian Inference참고 문헌 20인용 수 5

한 줄 요약

이 논문은 통계적 중복성을 활용한 확률적 샘플링과 불확실성 인식 업데이트를 통해 대규모 데이터 및 복잡한 시뮬레이션에 대한 계산적으로 효율적인 베이지안 추론 및 학습 방법을 제안한다. 가우시안 프로세스 서rogate를 도입하여 시뮬레이션 데이터를 재사용함으로써 반복적인 고비용 시뮬레이션을 줄이고, 적응형 미니배치와 모델 적합도에 대한 가설 검정을 통해 MCMC의 타당성을 유지한다.

ABSTRACT

When dealing with datasets containing a billion instances or with simulations that require a supercomputer to execute, computational resources become part of the equation. We can improve the efficiency of learning and inference by exploiting their inherent statistical nature. We propose algorithms that exploit the redundancy of data relative to a model by subsampling data-cases for every update and reasoning about the uncertainty created in this process. In the context of learning we propose to test for the probability that a stochastically estimated gradient points more than 180 degrees in the wrong direction. In the context of MCMC sampling we use stochastic gradients to improve the efficiency of MCMC updates, and hypothesis tests based on adaptive mini-batches to decide whether to accept or reject a proposed parameter update. Finally, we argue that in the context of likelihood free MCMC one needs to store all the information revealed by all simulations, for instance in a Gaussian process. We conclude that Bayesian methods will remain to play a crucial role in the era of big data and big simulations, but only if we overcome a number of computational challenges.

연구 동기 및 목표

• 10억 규모의 데이터셋이나 장시간 실행되는 시뮬레이션에서 기존 MCMC 및 배치 학습의 계산 비가용성을 해결한다.
• 반복적인 계산을 피하기 위해 과거 시뮬레이션을 재사용함으로써 표준 근사 베이지안 계산(ABC)의 비효율성을 극복한다.
• 적응형이고 불확실성 인식된 시뮬레이션 요청을 통해 계산 비용을 최소화하면서도 통계 정확도를 유지하는 프레임워크를 개발한다.
• 배치 방법을 대체하는 확률적이고 언제라도 예측 성능을 내는 알고리즘을 통해 실시간, 언제라도 예측 가능한 성능을 가능하게 한다.
• 대규모 데이터 시대에 베이지안 방법이 유지될 수 있도록 추론 목표에 계산 효율성을 통합한다.

제안 방법

• 고정된 계산 시간에서 최적의 예측 성능을 달성하기 위해 적응형 단계 크기 감소를 적용한 확률적 경사 하강법(SGD)을 사용한다.
• 적응형 미니배치 기반의 가설 검정을 제안하여 MCMC 제안을 수락할지 거절할지 결정함으로써 전체 가능도 평가에 대한 의존도를 줄인다.
• 모든 시뮬레이션 출력물을 가우시안 프로세스(GP) 서rogate에 저장하여 알 수 없는 가능도 표면을 모델링하고 예측의 불확실성을 추정한다.
• GP 서rogate를 사용해 충분통계량에 대한 전체 사후 분포를 불확실성과 함께 계산하여 MH 수락 결정을 안내한다.
• GP 예측의 불확실성이 임계값을 초과할 경우에만 새로운 시뮬레이션을 트리거함으로써 계산 효율성을 확보한다.
• 세부 균형을 상실함으로써 수렴 보장이 없지만, 베이지안 최적화와 유사한 전략을 통합하여 지능적으로 새로운 파라미터 값을 선택한다.

실험 결과

연구 질문

• RQ1 한 번의 평가에 수 시간이 소요되는 복잡한 시뮬레이터에 대해 MCMC 샘플링을 어떻게 효율적으로 만들 수 있는가?
• RQ2 통계 정확도를 훼손하지 않고도 과거 시뮬레이션을 재사용하여 가능도 무관 추론에서 반복 계산을 피할 수 있는가?
• RQ3 대규모 데이터 및 대규모 시뮬레이션에서 MCMC 수락 결정에 있어 계산 비용과 불확실성 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 확률적 경사 방법은 어떻게 수정되어 대규모 학습에서 언제라도 예측 성능을 보장할 수 있는가?
• RQ5 가우시안 프로세스 서rogate는 가능도 무관 베이지안 추론의 효율성을 어떻게 향상시키며, 同시에 MCMC의 타당성을 유지할 수 있는가?

주요 결과

• 배치 방법이 장기간 수렴이 필요한 데 반해, SGD와 같은 확률적 경사 방법은 고정된 계산 시간 내에서 최적의 예측 성능을 달성할 수 있다.
• 제안된 가우시안 프로세스 서rogate(GPS) 절차는 이전 모든 시뮬레이션의 정보를 저장하고 재사용함으로써 반복적 시뮬레이션의 필요성을 줄인다.
• GP 서rogate 내의 불확실성 정량화 기능을 통해 적응형 시뮬레이션 요청이 가능해지며, MH 결정에 대한 신뢰도가 너무 낮을 경우에만 새로운 시뮬레이션을 실행한다.
• 불확실성 추정치를 포함한 서rogate 가능도를 사용함으로써 MCMC의 세부 균형을 유지하여 渐近적 정확성을 보장한다.
• 지능적으로 과거 데이터를 재사용하고 반복 평가를 최소화함으로써, 시뮬레이션이 비용이 많이 들더라도 정확한 사후 분포에 수렴할 수 있다.
• 이 프레임워크는 언제라도 학습이 가능한 구조를 제공하여, 계산 시간이 예측 불가능한 실세계 시스템에 적합하게 모델 성능이 계산 시간 증가에 따라 지속적으로 향상된다.