[논문 리뷰] Neural Approximate Sufficient Statistics for Implicit Models

Yanzhi Chen, Dinghuai Zhang외 3명|ePrints Soton (University of Southampton)|2020. 10. 20.

Markov Chains and Monte Carlo Methods참고 문헌 59인용 수 21

한 줄 요약

이 논문은 밀도 추정 없이 신경망을 통한 상호정보량 최대화를 통해 은닉 생성 모델에서 가능성이 없는 추론을 위한 근사 충분통계를 자동으로 학습하는 딥러닝 접근법을 제안한다. 이 방법은 전통적인 ABC와 현대적인 신경망 밀도 추정 방법 양쪽 모두에서 정확도와 강인성을 향상시키는 압축되고 정보가 풍부한 표현을 학습함으로써 성능을 향상시킨다. 다양한 데이터 유형에서 일관된 성능 향상을 보인다.

ABSTRACT

We consider the fundamental problem of how to automatically construct summary statistics for implicit generative models where the evaluation of the likelihood function is intractable, but sampling data from the model is possible. The idea is to frame the task of constructing sufficient statistics as learning mutual information maximizing representations of the data with the help of deep neural networks. The infomax learning procedure does not need to estimate any density or density ratio. We apply our approach to both traditional approximate Bayesian computation and recent neural likelihood methods, boosting their performance on a range of tasks.

연구 동기 및 목표

• 가능성이 없는 밀도를 갖는 은닉 모델에서 가능성이 없는 추론을 위한 저차원이면서 정보가 풍부한 요약 통계를 설계하는 문제에 대응하기 위해.
• 전문가가 설계한 또는 수작업으로 만든 통계에 의존하는 것을 제거하고, 딥러닝을 활용해 충분통계의 자동 구축을 통해 이를 실현하기 위해.
• 근사 베이지안 계산(ABC) 및 신경망 밀도 추정(NDE) 기반 가능성이 없는 추론 방법의 성능과 강인성을 향상시키기 위해.
• 정보이론적 원리를 통해 표현 학습과 가능성이 없는 추론 간의 체계적인 연결 고리를 구축하기 위해.

제안 방법

• 충분통계 학습을 데이터와 매개변수 간의 상호정보량을 최대화하는 문제로 재정의하여, 데이터와 매개변수 간의 최대 상호정보량을 유지하고자 한다.
• 분포에 종속되지 않는 상호정보량 추정기 또는 그 대체 방법(예: MINE, InfoNCE)을 사용하여 신경망을 훈련시켜 원시 데이터를 압축되고 정보가 풍부한 표현으로 매핑한다.
• 학습된 통계는 SMC-ABC 및 SNL 프레임워크에 통합되어 SMC-ABC+와 SNL+를 형성하며, 사후분포와 충분통계를 함께 학습할 수 있도록 한다.
• 밀도 추정 또는 밀도 비율 추정을 회피하고, 오직 시뮬레이션된 데이터와 상호정보량 최적화에만 의존한다.
• 아키텍처는 엔드 투 엔드로 훈련되어 사후분포 추정과 충분통계 학습 간의 반복적 개선을 가능하게 한다.
• 이 방법은 i.i.d., 순차적, 그래프 구조화된 데이터를 포함한 다양한 데이터 유형에 대해 평가되었으며, 가우시안 코프룰라 및 옹스트라움-울렌벡 과정을 포함한다.

실험 결과

연구 질문

• RQ1 신경망은 가능성이 없는 추론에서 수작업 요약 통계를 능가하는 근사 충분통계를 학습할 수 있는가?
• RQ2 딥러닝을 통한 상호정보량 최대화가 은닉 모델에서 더 강인하고 정확한 사후 근사에 기여하는가?
• RQ3 제안된 방법은 전통적인 ABC와 현대적인 신경망 밀도 추정 방법 양쪽 모두에서 성능 향상을 이끌 수 있는가?
• RQ4 고차원적이거나 복잡한 데이터 환경에서 학습된 통계는 전문가가 설계한 통계와 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 신경망 근사 충분통계는 SMC-ABC와 SNL의 정확도와 강인성을 크게 향상시켜 사후분포 추정 오차를 감소시켰다.
• 가우시안 코프룰라 모델에서, 이 방법은 SNL보다 우수한 성능을 보였고, SNPE와 유사한 결과를 내었으며, 사후분포 추정의 변동성이 낮았다.
• 옹스트라움-울렌벡 과정에서, 학습된 통계는 진정한 사후분포와의 JSD 측정에서 전문가가 설계한 요약통계(평균, 표준편차, 자기상관)를 맞추거나 능가하는 성능을 보였다.
• 진정한 사후분포와 학습된 사후분포 간의 JSD는 SNL+에서 0.009±0.002, 전문가 통계를 사용한 SNL+에서는 0.004±0.001로 감소하여 높은 사후분포 충실도를 보였다.
• 이 방법은 i.i.d., 시계열, 그래프 구조화된 데이터를 포함한 다양한 데이터 유형에서 일관된 성능 향상을 보였다.
• OU 과정 실험에서, SRE와 SNPE를 모두 능가하는 성능을 보였으며, 더 낮은 JSD와 높은 안정성을 확보했다.