[논문 리뷰] Likelihood-free inference by penalised logistic regression

Ritabrata Dutta, Jukka Corander외 2명|arXiv (Cornell University)|2016. 11. 30.

Gaussian Processes and Bayesian Inference참고 문헌 38인용 수 9

한 줄 요약

이 논문은 명시적 우도 없이 사후 분포를 추정하기 위해 정벌된 로지스틱 회귀를 사용하는 우도 자유 추론 방법을 제안한다. 사후 추정을 비율 추정 문제로 재정의하고 정규화를 적용함으로써, 이 방법은 복잡한 고차원 모델에서 합성 우도와 ABC보다 뛰어난 성능을 보이며, 자동으로 관련 요약 통계량을 선택함으로써 사용의 용이성도 유지한다.

ABSTRACT

We consider the problem of parametric statistical inference when likelihood computations are prohibitively expensive but sampling from the model is possible. Several so-called likelihood-free methods have been developed to perform inference in the absence of a likelihood function. The popular synthetic likelihood approach infers the parameters by modelling summary statistics of the data by a Gaussian probability distribution. In another popular approach called approximate Bayesian computation, the inference is performed by identifying parameter values for which the summary statistics of the simulated data are close to those of the observed data. Synthetic likelihood is easier to use as no measure of `closeness' is required but the Gaussianity assumption is often limiting. Moreover, both approaches require judiciously chosen summary statistics. We here present an alternative inference approach that is as easy to use as synthetic likelihood but not as restricted in its assumptions, and that, in a natural way, enables automatic selection of relevant summary statistic from a large set of candidates. The basic idea is to frame the problem of estimating the posterior as a problem of estimating the ratio between the data generating distribution and the marginal distribution. This problem can be solved by logistic regression, and including regularising penalty terms enables automatic selection of the summary statistics relevant to the inference task. We illustrate the general theory on canonical examples and employ it to perform inference for challenging stochastic nonlinear dynamical systems and high-dimensional summary statistics.

연구 동기 및 목표

• 합성 우도와 근사 베이지안 계산과 같은 기존의 우도 자유 추론 방법의 한계를 해결하기 위해, 제약 조건이 엄격하거나 수동으로 요약 통계량을 선택해야 하는 것을 방지한다.
• 합성 우도와 동일한 사용 용이성을 유지하면서도 요약 통계량의 다변량 정규성 가정을 하지 않는 방법을 개발한다.
• 정규화를 활용하여 대량의 후보 요약 통계량에서 관련 있는 요약 통계량을 자동으로 데이터 기반으로 선택할 수 있도록 한다.
• 우도가 계산이 어려운 비선형 스토케스틱 동적 시스템에 대해 확장 가능하고 강력한 추론 접근법을 제공한다.
• 사후 추정을 비율 추정 문제로 재정의하여 변수 선택을 위한 페널티 항이 포함된 로지스틱 회귀로 해결할 수 있도록 한다.

제안 방법

• 이 방법은 데이터 생성 분포와 주변 분포 간의 사후 비율을 분류 문제로 재구성한다.
• 관측된 데이터 분포 또는 주어진 매개변수 값 하에서 시뮬레이션된 데이터로부터 데이터 포인트가 온다는 것을 로지스틱 회귀로 추정한다.
• 로지스틱 회귀 계수에 L1(Lasso) 또는 유사한 페널티를 적용하여 유의미한 요약 통계량의 자동 선택을 수행한다.
• 추정된 로지스틱 회귀 계수를 사용하여 모형 매개변수에 대한 사후 분포를 근사한다.
• 명시적 우도 계산을 피하기 위해 모형에서 몬테카를로 샘플링을 활용하여 로지스틱 분류기의 학습을 수행한다.
• 이 방법은 고차원 요약 통계량에 대해 강건하며, 합성 우도에 내재된 정규성 가정이 필요하지 않다.

실험 결과

연구 질문

• RQ1 합성 우도의 정규성 가정을 피하면서도 구현이 용이한 우도 자유 추론 방법을 개발할 수 있는가?
• RQ2 정벌된 로지스틱 회귀가 대량의 후보 요약 통계량에서 가장 관련 있는 요약 통계량을 자동으로 식별할 수 있는가?
• RQ3 이 방법의 정확성과 강건성 측면에서 합성 우도와 ABC에 비해 복잡한 모델에서 어떻게 성능을 발휘하는가?
• RQ4 이 방법은 고차원 요약 통계량과 비선형 스토케스틱 동적 시스템에 대해 효과적으로 확장 가능한가?
• RQ5 로지스틱 회귀의 정규화가 관련 없는 요약 통계량을 제거함으로써 얼마나 추론 성능을 향상시키는가?

주요 결과

• 제안된 방법은 합성 우도와 ABC와 비교해도 동일하거나 더 높은 정확도를 달성하며, 특히 합성 우도의 정규성 가정이 위반될 경우에 특히 유리하다.
• 정벌된 로지스틱 회귀는 정보가 많은 요약 통계량만을 성공적으로 식별하고 유지함으로써 잡음 감소와 추론 효율성 향상에 기여한다.
• 이 방법은 전통적인 접근 방식이 차원의 저주로 인해 실패하기 쉬운 고차원 요약 통계량에서도 강건한 성능을 보였다.
• 우도 계산이 어려우며 요약 통계량이 고차원인 복잡한 스토케스틱 비선형 동적 시스템에서도 신뢰할 수 있는 추론을 가능하게 한다.
• 정규화 구성 요소는 관련 없는 요약 통계량을 효과적으로 제거하여 수동 선택 없이도 더 정밀한 사후 추정을 가능하게 한다.
• 이 방법은 합성 우도와 유사한 계산 가능성과 사용 용이성을 유지하면서도 더 큰 유연성과 통계적 강건성을 제공한다.