[논문 리뷰] Big Data vs. complex physical models: a scalable inference algorithm

Johannes Büchner|arXiv (Cornell University)|2017. 07. 14.

Computational Physics and Python Applications참고 문헌 8인용 수 2

한 줄 요약

이 논문은 데이터 세트 수에 따라 물리 모델 평가 횟수를 선형 이하로 감소시키는 확장 가능한 추론 알고리즘인 협업형 내재 샘플링을 소개한다. 이는 동일한 오차, 정규성 또는 모델 형태에 대한 가정 없이도 대규모 데이터 세트에서 효율적인 매개변수 추정과 불확실성 정량화를 가능하게 하며, 복잡하고 평가가 느린 모델에 대한 베이지안 추론을 빅데이터 환경에서 가속화한다.

ABSTRACT

The data torrent unleashed by current and upcoming instruments requires scalable analysis methods. Machine Learning approaches scale well. However, separating the instrument measurement from the physical effects of interest, dealing with variable errors, and deriving parameter uncertainties is usually an afterthought. Classic forward-folding analyses with Markov Chain Monte Carlo or Nested Sampling enable parameter estimation and model comparison, even for complex and slow-to-evaluate physical models. However, these approaches require independent runs for each data set, implying an unfeasible number of model evaluations in the Big Data regime. Here we present a new algorithm, collaborative nested sampling, for deriving parameter probability distributions for each observation. Importantly, in our method the number of physical model evaluations scales sub-linearly with the number of data sets, and we make no assumptions about homogeneous errors, Gaussianity, the form of the model or heterogeneity/completeness of the observations. Collaborative nested sampling has immediate application in speeding up analyses of large surveys, integral-field-unit observations, and Monte Carlo simulations.

연구 동기 및 목표

• 각 데이터 세트가 독립적인 모델 평가가 필요한 빅데이터 환경에서 기존 마르코프 체인 몬테카를로 및 내재 샘플링의 계산 비용이 지나치게 높아지는 문제를 해결한다.
• 이질적이고 비정규적이며 변동성이 있는 오차를 가진 복잡한 물리 모델에 대해 확장 가능한 매개변수 추정과 모델 비교를 가능하게 한다.
• 데이터 세트 수에 대해 물리 모델 평가 횟수를 선형에서 선형 이하로 감소시켜 통계적 엄밀함을 유지한다.
• 모델이나 오차 가정을 단순화하지 않고도 대규모 천문학적 조사, 인티그랄-필드 유닛 데이터, 몬테카를로 시뮬레이션 분석을 지원한다.

제안 방법

• 모델 평가를 관측치 간에 재사용할 수 있도록 내재 샘플링을 다수의 데이터 세트 간 협업적으로 운영하도록 변형한다.
• 각 데이터 세트마다 별도의 우도 평가를 유지하면서도 전체 집단 내에서 우도 임계값 설정과 라이브 포인트 업데이트를 공유한다.
• 모델 평가를 데이터 세트 간에 재사용할 수 있도록 하는 공통의 사전분포 및 우도 평가 프레임워크를 도입하여 중복 계산을 줄인다.
• 동일하지 않은 오차 모델과 이질적인 데이터 완전성 정보를 우도 함수에 직접 통합하여 동질화가 필요 없도록 한다.
• 각 데이터 세트의 우도 계산에 비정규적이고 이종적인 오차 구조를 통합하여 임의의 비정규적이고 이종적인 오차 구조를 처리할 수 있도록 한다.
• 정확도 또는 확장성 손실 없이도 전체 사후 추론 및 모델 비교 기능(예: 베이지안 증거를 통한)을 유지한다.

실험 결과

연구 질문

• RQ1 복잡한 물리 모델에 대한 베이지안 추론은 계산 비용이 지나치게 높아지지 않도록 대규모 데이터 세트에 대해 어떻게 확장할 수 있는가?
• RQ2 여러 데이터 세트 간에 모델 평가를 어떻게 재사용하여 총 계산 부담을 줄이면서도 통계적 정확도를 유지할 수 있는가?
• RQ3 알고리즘이 단순화된 가정 없이 비정규적, 이종적, 완전하지 않은 관측 데이터를 얼마나 잘 처리할 수 있는가?
• RQ4 협업형 내재 샘플링은 고용량 데이터 환경에서 신뢰할 수 있는 매개변수 불확실성 추정치와 모델 비교 지표를 유지할 수 있는가?
• RQ5 실제 관측 조건에서 데이터 세트 수에 따라 모델 평가의 스케일링 행동은 어떻게 되는가?

주요 결과

• 물리 모델 평가 횟수가 데이터 세트 수에 대해 선형 이하로 스케일링되어 빅데이터 시나리오에서 계산 비용을 크게 감소시킨다.
• 동일한 오차나 정규 우도를 가정하지 않더라도 전체 베이지안 추론(매개변수 불확실성 및 모델 비교 포함)이 가능하다.
• 이질적인 데이터 완전성과 변동성이 있는 오차 구조를 가진 환경에서도 복잡하고 평가가 느린 물리 모델을 지원한다.
• 독립 실행 대비 요구되는 모델 평가 수를 크게 줄였음에도 불구하고 통계적 엄밀함과 사후 정확도를 유지한다.
• 협업형 내재 샘플링은 대규모 천문학적 조사, 인티그랄-필드 유닛 관측, 몬테카를로 시뮬레이션에 직접 적용 가능하다.
• 모델의 근본적인 물리적 모델에 대한 충실도를 유지하기 위해 대체 모델이나 우도 근사가 필요 없도록 한다.