[논문 리뷰] Likelihood-free inference via classification

Michael U. Gutmann, Ritabrata Dutta외 2명|arXiv (Cornell University)|2014. 07. 18.

Markov Chains and Monte Carlo Methods참고 문헌 1인용 수 23

한 줄 요약

이 논문은 가능도 계산이 불가능한 생성 모델에 대한 통계적 추론을 관측된 데이터와 시뮬레이션된 데이터 간의 이진 분류 문제로 재정의하는 가능도 자유 추론 프레임워크를 제안한다. 다양한 매개변수 하에서 생성된 데이터와 관측된 데이터를 구분할 수 있도록 분류기를 훈련시킴으로써, 모델의 분류 정확도는 가능도를 명시적으로 계산하지 않고도 효율적인 점 추정과 베이지안 추론을 가능하게 하는 이질성 측도로 기능한다. 주요 기여는 현대 분류 알고리즘의 전반적인 능력을 활용하는 강건하고 확장 가능한 방법이다.

ABSTRACT

Increasingly complex generative models are being used across disciplines as they allow for realistic characterization of data, but a common difficulty with them is the prohibitively large computational cost to evaluate the likelihood function and thus to perform likelihood-based statistical inference. A likelihood-free inference framework has emerged where the parameters are identified by finding values that yield simulated data resembling the observed data. While widely applicable, a major difficulty in this framework is how to measure the discrepancy between the simulated and observed data. Transforming the original problem into a problem of classifying the data into simulated versus observed, we find that classification accuracy can be used to assess the discrepancy. The complete arsenal of classification methods becomes thereby available for inference of intractable generative models. We validate our approach using theory and simulations for both point estimation and Bayesian inference, and demonstrate its use on real data by inferring an individual-based epidemiological model for bacterial infections in child care centers.

연구 동기 및 목표

• 가능도 함수가 계산적으로 비가능하거나 이용할 수 없는 생성 모델에서 통계적 추론의 과제를 해결한다.
• 주관적이고 전문가가 선택한 요약 통계량과 거리 측도에 의존하는 전통적인 가능도 자유 방법의 한계를 극복한다.
• 데이터 이질성을 측정하기 위해 분류 기법의 전반적인 능력을 활용하는 일반 목적의 추론 프레임워크를 개발한다.
• 분류 기반 이질성 측도를 사용하여 복잡한 시뮬레이터 기반 모델에 대한 빈도주의 및 베이지안 추론을 가능하게 한다.
• 합성 데이터 및 실제 데이터, 특히 복잡한 잠재 구조를 가진 전염병 모델을 포함한 다양한 시나리오에서 방법의 강건성과 정확성을 입증한다.

제안 방법

• 가능도 자유 추론 문제를 관측된 데이터와 주어진 매개변수 값 하에서 시뮬레이션된 데이터를 구분하는 이진 분류 작업으로 변환한다.
• 훈련된 모델의 분류 정확도를 시뮬레이션된 데이터와 관측된 데이터 간의 이질성 측도로 사용하며, 높은 정확도는 더 큰 이질성을 나타낸다.
• 랜덤 포레스트, 신경망, 서포트 벡터 머신(SVMs) 등의 다양한 분류 알고리즘을 사용하여 이질성 측도를 추정함으로써 유연성과 적응성을 확보한다.
• 베이지안 추론을 위해 분류 정확도를 ABC 알고리즘에서 가능도의 대체 측도로 사용하여 순차 몽테카를로 기반의 사후 분포 근사화를 가능하게 한다.
• 사전 지식이 있을 경우 전문가가 제공한 요약 통계량을 분류기의 특징으로 통합하여 성능을 향상시킨다.
• 고차원 데이터 환경에서 일반화 성능 향상과 차원 축소를 위해 무작위 투영 또는 특징 선택 기법을 활용한다.

실험 결과

연구 질문

• RQ1 시뮬레이션된 데이터와 관측된 데이터 간의 분류 정확도가 가능도 자유 추론에서 신뢰할 수 있고 데이터 기반의 이질성 측도로 기능할 수 있는가?
• RQ2 기존의 요약 통계량과 거리 함수에 비해 분류 기반 이질성 측도는 추정 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ3 복잡한 시뮬레이터 기반 모델에서 분류 기반 추론이 얼마나 정확한 점 추정과 사후 근사화를 달성할 수 있는가?
• RQ4 특징 공학을 통해 전문 지식을 효과적으로 통합할 수 있는가 동시에, 비최적 또는 불완전한 요약 통계량에 대해 강건한가?
• RQ5 예를 들어 개인 기반의 전염병 시뮬레이션과 같은 복잡하고 고차원적이거나 잠재 구조를 가진 실제 데이터에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 시뮬레이션된 데이터와 관측된 데이터 간의 분류 정확도는 기존의 요약 통계량보다 많은 경우에서 더 나은 성능을 보이며, 유효하고 확장 가능하며 적응 가능한 이질성 측도로 기능한다.
• 정규분포, 베르누이, 포oisson, 이동 평균, ARCH 과정 등 다양한 모델에 대해 사후 추론이 정확하게 이루어졌으며, 30회의 ABC 반복 후 사후 평균과 표준편차의 상대 오차가 10% 이내였다.
• 어린이 보육 센터에서의 박테리아 전파를 시뮬레이션한 실제 데이터에 대해, 분류기 기반 ABC 방법은 기준 방법보다 더 좁고 전문가 검증 결과에 더 가까운 사후 분포를 생성했으며, 특히 무작위 특징 투영을 사용한 경우 두드러진 성능 향상을 보였다.
• 제한된 전문가 요약 통계량만 사용된 경우에도, 분류기 기반 접근법은 추가로 구분 가능한 특징을 학습함으로써 그들의 비최적성을 보완하여 사후 정확도를 복구했다.
• 분류기에서의 무작위 투영 사용은 수렴 속도를 향상시키고 사후 분산을 감소시켜 원시 데이터 특징을 사용한 경우보다 더 안정적이고 정밀한 추론을 가능하게 했다.
• 연속형, 이산형, 이진형, 시계열 데이터를 포함한 다양한 유형의 데이터에서 강건성과 확장성을 입증했으며, 최소한의 튜닝으로도 높은 성능을 발휘했다.