[논문 리뷰] Importance Weighted Adversarial Variational Autoencoders for Spike Inference from Calcium Imaging Data

Daniel Jiwoong Im, Sridhama Prakhya외 3명|arXiv (Cornell University)|2019. 06. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 4

한 줄 요약

이 논문은 임의의 분포를 가지는 후행 분포 근사 향상을 위해 적대적 훈련과 중요도 가중치를 조합한 Importance Weighted Adversarial Variational Bayes (IW-AVB)와 Importance Weighted Adversarial Autoencoders (IW-AAE)를 제안한다. 이 방법은 이산 이진 스파이크 트레인에 대한 상관관계가 있는 후행 분포를 빠르고 병렬적으로 샘플링할 수 있게 하여, 칼슘 이미징 데이터에서 스파이크 추론에서 인과적 VAE 후행 분포보다 뛰어난 성능을 보이며, 높은 속도를 유지한다.

ABSTRACT

The Importance Weighted Auto Encoder (IWAE) objective has been shown to improve the training of generative models over the standard Variational Auto Encoder (VAE) objective. Here, we derive importance weighted extensions to AVB and AAE. These latent variable models use implicitly defined inference networks whose approximate posterior density q_ϕ(z|x) cannot be directly evaluated, an essential ingredient for importance weighting. We show improved training and inference in latent variable models with our adversarially trained importance weighting method, and derive new theoretical connections between adversarial generative model training criteria and marginal likelihood based methods. We apply these methods to the important problem of inferring spiking neural activity from calcium imaging data, a challenging posterior inference problem in neuroscience, and show that posterior samples from the adversarial methods outperform factorized posteriors used in VAEs.

연구 동기 및 목표

• 신경 활동 추론에서 이산 이진 스파이크 트레인에 대한 정확하고 상관관계가 있는 후행 분포를 학습하는 데 도전하는 것.
• 후행 밀도가 암묵적으로 정의되고 평가하기 어려운 모델, 즉 AVB와 AAE에 중요도 가중치를 확장하는 것.
• 적대적 훈련과 중요도 가중치를 조합하여 칼슘 이미징 데이터에서 스파이크 추론의 후행 추론 품질을 향상시키는 것.
• 자기회귀 모델의 순차적 샘플링 병목 현상을 해결하고, 상관관계가 있는 스파이크 후행 분포를 빠르고 병렬적으로 샘플링할 수 있도록 하는 것.
• 적대적 목표와 주변 가능도 기반 기준 사이의 이론적 연결 고리를 제공하는 것.

제안 방법

• AVB와 AAE와 같이 후행 분포가 암묵적으로 정의된 모델에 대해 중요도 가중치 자동에코더(IWAE) 목표를 확장한 IW-AVB와 IW-AAE를 제안한다.
• 후행 분포 밀도의 명시적 평가가 필요 없이, 노이즈를 후행 분포에서 샘플링하는 추론 네트워크를 적대적 훈련으로 학습한다.
• 학습 중에 다수의 중요도 가중치 샘플을 사용하여 로그가능도의 하한을 강화함으로써 모델 증거 추정을 향상시킨다.
• 스파이크 트레인을 발광 트레이스로 매핑하는 생물물리학적 생성 모델과, 추론 네트워크로 컨볼루션 신경망을 사용하여 스파이크 추론에 모델을 적용한다.
• 판별자 네트워크를 통해 사전 분포와 후행 분포를 일치시키는 적대적 목표를 사용하여 모델을 훈련시킨다.
• 비보상형(non-amortized) 및 보상형(amortized) 추론 설정을 활용하여 뉴런 간 성능과 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 암묵적으로 정의된 후행 분포를 가진 적대적 변분 오토에코더(AVB 및 AAE)에 중요도 가중치를 효과적으로 적용할 수 있는가?
• RQ2 중요도 가중치를 적용한 적대적 훈련 추론 네트워크가 인과적 VAE 후행 분포보다 스파이크 추론에서 더 나은 후행 분포 근사를 제공하는가?
• RQ3 적대적 훈련이 이산 스파이크 트레인에 대해 정확하고 효율적으로 병렬으로 샘플링 가능한 상관관계가 있는 후행 분포를 생성할 수 있는가?
• RQ4 IW-AAE 및 IW-AVB 목표와 주변 가능도 또는 최적 운반 이론 기준 사이의 이론적 관계는 무엇인가?
• RQ5 제안된 방법이 보상형 추론에서 뉴런 간 일반화에 성공했는가? 그리고 순차적 샘플링이 필요한 자동회귀 기반 모델과 비교해 성능과 속도는 어떻게 되는가?

주요 결과

• IW-AVB, AAE, 및 IW-AAE는 VIMCO-FACT(인과적)와 VIMCO-CORR(자기회귀적) 사이의 후행 추론 성능을 달성하지만, 훨씬 더 빠른 추론 속도를 보인다.
• 적대적으로 훈련된 추론 네트워크는 실제 스파이크 상관관계와 비교했을 때 정확도가 더 높은 상관관계가 있는 후행 샘플을 생성한다.
• VIMCO-CORR가 순차적 샘플링이 필요하기에 상당한 속도 열세를 보이는 데 비해, 제안된 방법은 상관관계가 있는 스파이크 트레인의 병렬 샘플링을 가능하게 하여 뚜렷한 속도 우위를 확보한다.
• 보상형 추론에서 IW-AVB, AAE, 및 IW-AAE는 비보상형 기반 모델조차도 능가하여 뉴런 간 강력한 일반화 능력을 보여준다.
• 이론적 분석을 통해 적대적 목표와 로그가능도 사이의 연결 고리를 밝혀내었으며, AAE와 워셔스타인 오토에코더 목표 간의 관계를 명확히 하였다.
• 실험 결과, IW-AVB와 IW-AAE는 VIMCO-FACT보다 더 적은 거짓 음성, VIMCO-CORR보다 더 적은 거짓 양성으로 검출 균형이 향상된 후행 분포 근사를 제공함을 보였다.