[논문 리뷰] Partially Exchangeable Networks and Architectures for Learning Summary Statistics in Approximate Bayesian Computation

Samuel Wiqvist, Pierre Alexandre Mattei외 2명|IT University Of Copenhagen (IT University of Copenhagen)|2019. 01. 29.

Gaussian Processes and Bayesian Inference인용 수 14

한 줄 요약

이 논문은 부분적으로 교환가능한 네트워크(PENs)를 소개한다. PENs는 마르코프성과 교환가능한 데이터에서의 확률적 대칭성—특히 블록 전환 불변성—을 활용하여 근사 베이지안 계산(ABC)을 위한 정보적인 요약 통계량을 자동으로 학습하는 딥러닝 아키텍처이다. PENs는 시간 시리즈 및 정적 모델 전반에서 훈련 데이터 요구량을 크게 줄였음에도 불구하고, MLP 및 DeepSets보다 10배에서 100배에 이르는 데이터 효율성 향상을 달성하며 우수한 사후 추론 정확도를 확보한다.

ABSTRACT

We present a novel family of deep neural architectures, named partially exchangeable networks (PENs) that leverage probabilistic symmetries. By design, PENs are invariant to block-switch transformations, which characterize the partial exchangeability properties of conditionally Markovian processes. Moreover, we show that any block-switch invariant function has a PEN-like representation. The DeepSets architecture is a special case of PEN and we can therefore also target fully exchangeable data. We employ PENs to learn summary statistics in approximate Bayesian computation (ABC). When comparing PENs to previous deep learning methods for learning summary statistics, our results are highly competitive, both considering time series and static models. Indeed, PENs provide more reliable posterior samples even when using less training data.

연구 동기 및 목표

• 손으로 고른 요약 통계량이 일반적이지만 최적의 성능을 내지 못하는 근사 베이지안 계산(ABC)에서 정보적인 데이터 기반 요약 통계량을 구성하는 데 도전하는 것.
• 시간 시리즈 데이터의 부분적 교환성과 마르코프 성질을 명시적으로 코딩하는 신경망 아키텍처를 개발하여 ABC 추론을 향상시키는 것.
• 확률적 대칭성을 내재적으로 존중함으로써 대규모 훈련 데이터에 대한 의존도를 줄여 데이터 효율성을 향상시키기 위해 모델을 설계하는 것.
• i.i.d. 데이터를 초월하여 동적, 마르코프성, 비마르코프성 시간 시리즈에 대해서도 효과적인 학습이 가능한 딥러닝의 적용 범위를 넓히는 것.
• PENs가 기존의 딥러닝 방법보다 ABC에서 뛰어나게 성능을 내며, 특히 저자료 환경에서의 성능을 입증하는 것.

제안 방법

• 조건부 마르코프 과정에서 부분적 교환성을 특징짓는 블록 전환 불변성에 대해 불변인 신규 신경망 아키텍처인 부분적으로 교환가능한 네트워크(PENs)를 제안한다.
• 각 블록이 입력의 일부를 처리하고, 최종 표현이 블록 순서의 치환에 대해 불변이 되도록 하여 계층적 아키텍처를 구성함으로써 대칭성 인식 특징 학습을 보장한다.
• 모든 블록 전환 불변 함수는 PEN 유사 표현을 가짐을 보여주어, 이러한 대칭성에 대해 PENs의 아키텍처 완전성을 확립한다.
• 원시 데이터에서 저차원의 정보적인 요약 통계량으로 매핑하는 신경망을 훈련시켜 ABC에서 요약 통계량을 학습하는 데 PENs를 적용한다.
• 기준 표를 사용한 ABC 거부 샘플링을 통해 PENs, MLPs, DeepSets를 포함한 다양한 요약 통계량 방법 간의 사후 근사치를 비교한다.
• ABC 수락 기준으로 맬라노비스 거리와 균일 커널을 사용하며, 일관된 계산 예산 확보를 위해 임계값을 거리의 x번째 백분율로 설정한다.

실험 결과

연구 질문

• RQ1 마르코프성 시간 시리즈 데이터에서 부분적 교환성을 명시적으로 코딩할 수 있는 딥러닝 신경망 아키텍처를 설계할 수 있는가?
• RQ2 PENs가 ABC 요약 통계량을 학습할 때 표준 MLP 및 DeepSets에 비해 데이터 효율성이 어떻게 다른가?
• RQ3 PENs는 마르코프 성질을 만족하지 않는 비마르코프성 시간 시리즈 데이터(예: MA(2) 과정)로 일반화될 수 있는가?
• RQ4 훈련 데이터가 제한된 상황에서 PEN 아키텍처가 기존의 딥러닝 방법보다 얼마나 뛰어나게 성능을 내는가?
• RQ5 PEN 아키텍처는 DeepSets의 일반화인가? 그리고 동적 데이터로의 확장과 함께 동일한 불변성 성질을 유지하는가?

주요 결과

• PENs는 시간 시리즈 및 정적 모델 전반에서 MLP 및 DeepSets와 경쟁적 또는 우수한 사후 추론 정확도를 달성한다.
• PENs는 MLP에 비해 훈련 데이터 크기를 10배에서 100배까지 줄일 수 있으며, 뛰어난 데이터 효율성을 입증한다.
• AR(2) 모델에서 PEN-10는 파라미터 수가 더 많은 MLP보다도 성능이 뛰어나, PENs가 대칭성을 더 효과적으로 학습함을 시사한다.
• 비마르코프성 MA(2) 모델에서도 PEN-10는 강력한 성능을 유지하여 엄격한 마르코프 가정 위반에 대한 강건성을 보여준다.
• PEN-0는 PENs의 특수한 경우로, 정확히 DeepSets 아키텍처에 해당하여, PENs가 부분적으로 교환가능한 데이터로의 DeepSets 일반화임을 확인한다.
• 자료 부족 상황에서 PENs와 MLP 간의 성능 격차는 더욱 벌어지며, 특히 파라미터 수가 제한된 경우에 MLP는 과적합을 보이지만 PENs는 정확도를 유지한다.