[논문 리뷰] Dynamic Likelihood-free Inference via Ratio Estimation (DIRE)

Traiko Dinev, Michael U. Gutmann|arXiv (Cornell University)|2018. 10. 23.

Markov Chains and Monte Carlo Methods참고 문헌 32인용 수 18

한 줄 요약

이 논문은 시간열린 모델에서 가능도 자유 추론을 위한 비율 추정(LFIRE)의 요약 통계를 자동으로 학습하기 위해 컨volutional 신경망(DireNet)을 제안하며, 후행 추정 정확도를 크게 향상시킨다. 이 방법은 원시 데이터에서 모델 파라미터를 직접 예측하는 신경망을 훈련시켜, 수동으로 설계하거나 수작업으로 선택한 통계보다 여러 역학적 모델에서 뛰어난 요약 통계를 도출한다.

ABSTRACT

Parametric statistical models that are implicitly defined in terms of a stochastic data generating process are used in a wide range of scientific disciplines because they enable accurate modeling. However, learning the parameters from observed data is generally very difficult because their likelihood function is typically intractable. Likelihood-free Bayesian inference methods have been proposed which include the frameworks of approximate Bayesian computation (ABC), synthetic likelihood, and its recent generalization that performs likelihood-free inference by ratio estimation (LFIRE). A major difficulty in all these methods is choosing summary statistics that reduce the dimensionality of the data to facilitate inference. While several methods for choosing summary statistics have been proposed for ABC, the literature for synthetic likelihood and LFIRE is very thin to date. We here address this gap in the literature, focusing on the important special case of time-series models. We show that convolutional neural networks trained to predict the input parameters from the data provide suitable summary statistics for LFIRE. On a wide range of time-series models, a single neural network architecture produced equally or more accurate posteriors than alternative methods.

연구 동기 및 목표

• 합성 가능도 및 LFIRE 프레임워크에서 요약 통계를 선택하거나 학습하는 체계적인 방법의 부족을 해결하기 위해.
• 시간열린 모델에 대한 가능도 자유 베이지안 추론에 효과적인 데이터 기반의 자동화된 요약 통계 학습 방법을 개발하기 위해.
• 원시 데이터에서 파라미터를 예측하도록 훈련된 신경망이 수동 또는 히우리스틱 방법보다 LFIRE에 더 뛰어난 요약 통계를 생성하는지 보여주기 위해.
• 가능도가 추정이 어려운 다양한 시간열린 모델에 대해 이 방법을 검증하여 일관된 성능 향상을 보여주기 위해.

제안 방법

• 원시 시간열린 데이터에서 모델 파라미터를 직접 예측하도록 지도 학습 목표를 사용해 컨볼루션 신경망(DireNet)을 훈련시키기.
• 훈련된 네트워크의 최종 레이어를 LFIRE의 저차원 요약 통계로 사용하여 수동 설계된 통계를 대체하기.
• 신경망에서 유도된 요약 통계를 사용해 가능도 비율을 모델링하고, 비율 추정을 통한 후행 추정을 수행하기.
• 시간적 컨볼루션을 활용해 시간열린 데이터의 순차적 구조를 유지함으로써 효과적인 특징 추출을 가능하게 하기.
• 모델당 한 번만 네트워크를 훈련하고, 여러 추론 작업에 재사용함으로써 암시적 추론(amortized inference)를 실현하기.
• LFIRE가 합성 가능도를 일반화할 수 있음을 활용해, 이 방법이 두 프레임워크 모두에 적용 가능하도록 하기.

실험 결과

연구 질문

• RQ1 원시 데이터에서 파라미터를 예측하도록 훈련된 딥 뉴럴 네트워크가 시간열린 모델에서 LFIRE의 효과적인 요약 통계로 기능할 수 있는가?
• RQ2 신경망에서 유도된 요약 통계의 성능가 수동으로 선택된 요약 통계와 비교해 어떻게 되는가?
• RQ3 단일이고 일반적인 신경망 아키텍처가 가능도가 추정이 어려운 다양한 시간열린 모델에 일반화되는가?
• RQ4 학습된 요약 통계는 기존 방법에 비해 후행 추정 정확도를 어느 정도 향상시키는가?

주요 결과

• Lorenz 모델에서 DireNet은 수동으로 선택된 요약 통계보다 성능을 뛰어넘었으며, 모든 테스트 모델 중 가장 큰 성능 향상을 기록했다.
• Lotka-Volterra 및 Ricker 모델을 포함한 모든 테스트 모델에서 다른 접근 방식보다 동등하거나 더 정확한 후행 추정을 도출했다.
• 컨볼루션 신경망은 추론에 필수적인 통계적 특징을 반영한 의미 있는 저차원 표현을 학습했다.
• 이 방법은 단일 네트워크 훈련이 여러 후행 추정 작업을 지원할 수 있도록 암시적 추론을 가능하게 했다.
• 다양한 역학적 시스템에서 뛰어난 강건성을 보이며, 테스트된 모델 외부에도 넓은 적용 가능성을 시사했다.