[논문 리뷰] HNPE: Leveraging Global Parameters for Neural Posterior Estimation

Pedro Luiz Coelho Rodrigues, Thomas Moreau외 2명|arXiv (Cornell University)|2021. 02. 12.

Neural dynamics and brain function참고 문헌 35인용 수 5

한 줄 요약

HNPE는 강한 불확정성 구조를 가진 모델에서 관측값이 동일한 다수의 관측치 간에 공유되는 글로벌 매개변수를 활용하여 사후 분포 추정을 향상시키는 가능도 자유 추론 방법을 제안한다. 정규화 플로우와 딥셋 아키텍처를 조합하여 보조 관측치의 집합을 조건으로 삼음으로써, 더 날카롭고 신뢰할 수 있는 사후 분포 추정을 달성하였다. 이는 신경과학 모델에서 글로벌 매개변수(예: 이득)가 조건 간에 안정적으로 집중되며, 국소 매개변수(예: C)가 눈을 뜨고 닫는 상태 간에 명확히 분리됨을 통해 입증되었다.

ABSTRACT

Inferring the parameters of a stochastic model based on experimental observations is central to the scientific method. A particularly challenging setting is when the model is strongly indeterminate, i.e. when distinct sets of parameters yield identical observations. This arises in many practical situations, such as when inferring the distance and power of a radio source (is the source close and weak or far and strong?) or when estimating the amplifier gain and underlying brain activity of an electrophysiological experiment. In this work, we present hierarchical neural posterior estimation (HNPE), a novel method for cracking such indeterminacy by exploiting additional information conveyed by an auxiliary set of observations sharing global parameters. Our method extends recent developments in simulation-based inference (SBI) based on normalizing flows to Bayesian hierarchical models. We validate quantitatively our proposal on a motivating example amenable to analytical solutions and then apply it to invert a well known non-linear model from computational neuroscience, using both simulated and real EEG data.

연구 동기 및 목표

• 관측값이 동일한 다양한 매개변수 조합을 가질 수 있는 강한 불확정성 모델(예: 전파원 또는 전기생리 신호 추론)의 도전 과제를 해결하기 위해.
• 가능도가 추정 불가능하고 매개변수의 비단사성으로 인해 사후 분포가 띠나 있거나 바나나 모양을 띠는 경우, 시뮬레이션 기반 추론(SBI)에서 사후 분포 추정을 향상시키기 위해.
• 공유되는 글로벌 매개변수를 가진 계층적 모델로 신경 사후 추정을 확장하기 위해 보조 관측치를 활용하여 통계적 능력을 향상시키기 위해.
• 다양한 크기의 관측치 집합에 대해 조건부로 작동하는 확장 가능한, 암시적 추론 프레임워크를 개발하여 신뢰할 수 있는 불확실성 정량화를 가능하게 하기 위해.

제안 방법

• 모든 관측치 간에 공유되는 글로벌 매개변수(β)와 각 관측치에 대응하는 국소 매개변수(θ_i)로 구성된 계층적 신경 사후 추정(HNPE) 프레임워크를 제안한다.
• 정규화 플로우 두 개를 사용한다: 하나는 관측치 X에 조건부로 전체 사후 분포 p(α₁,…,α_N,β|X)를 모델링하고, 다른 하나는 전체 관측치 집합 X를 조건으로 삼는다.
• Zaheer 등(2017)의 딥셋 아키텍처를 활용하여 순서가 없는 관측치 집합 X를 처리함으로써, 보조 데이터에 대해 순열 불변 조건부 처리를 가능하게 한다.
• Greenberg 등(2019)의 순차적 SNPE-C 학습 절차를 변형하여 반복적인 시뮬레이션과 밀도 추정을 통해 사후 근사값을 학습한다.
• 공유되는 글로벌 매개변수를 가진 다수의 관측치 간 통계적 강도를 활용하기 위해 전체 관측치 집합 X = {x₁,…,x_N}에 조건부로 사후 근사값을 설정한다.
• 다양한 N을 가진 i.i.d. 시뮬레이션을 사용하여, 다양한 크기의 보조 관측치 집합에 대해 암시적 추론을 가능하게 하는 학습 프로토콜을 도입한다.

실험 결과

연구 질문

• RQ1 공유되는 글로벌 매개변수를 가진 보조 관측치가 가능도 자유 추론에서 강한 불확정성 모델의 사후 분포 추정을 상당히 향상시킬 수 있는가?
• RQ2 매개변수의 비단사성으로 인해 사후 분포가 매우 구조화되어 있는 경우(예: 바나나 모양), HNPE는 표준 SBI 방법보다 어떻게 성능을 발휘하는가?
• RQ3 실제 신경과학 모델에서 EEG 데이터를 활용해 눈을 뜨고 닫는 상태 간에 별개의 매개변수 영역을 HNPE가 얼마나 잘 복원할 수 있는가?
• RQ4 가능도가 추정 불가능하고 시뮬레이션이 노이즈가 많은 상황에서 HNPE가 글로벌 매개변수와 국소 매개변수를 동시에 신뢰성 있게 추정할 수 있는가?
• RQ5 여러 보조 관측치를 포함할 경우, 핵심 모델 매개변수의 사후 분포가 어떻게 집중되고 분리되는가?

주요 결과

• N=9개의 보조 관측치를 사용할 경우, 눈을 뜨고 닫는 조건 간에 글로벌 이득 매개변수(β)가 안정적으로 집중되며, 공유 매개변수의 효과적인 학습이 이루어짐을 입증하였다.
• 신경 질량 모델의 매개변수 C에 대한 사후 분포는 조건 간에 명확히 분리된다: 눈을 감은 상태에서는 약 130에 피크를 이룬다. 눈을 뜬 상태에서는 약 70에 피크를 이룬다. 이는 이전 이론적 분석과 일치한다.
• 실제 EEG 데이터에서 생물학적으로 의미 있는 매개변수 차이를 성공적으로 복원하여, 이 방법의 신경과학 응용 분야에서의 유용성을 검증하였다.
• 보조 관측치를 사용할 경우 국소 매개변수의 사후 추정치가 상당히 날카롭고 명확하게 분리되며, 이는 통계적 능력 향상을 의미한다.
• 순서가 없는 관측치 집합에 기반한 딥셋 기반 조건부 처리가 다양한 수의 보조 관측치에 대해 효과적인 일반화를 가능하게 하였다.
• 특히 고차원적, 비선형적, 비단사성 모델에서 비계층적 기준 모델보다 사후 집중도와 불확실성 정량화 성능이 뛰어나게 성과를 발휘하였다.