[논문 리뷰] Analyzing Inverse Problems with Invertible Neural Networks

Lynton Ardizzone, Jakob Kruse외 7명|arXiv (Cornell University)|2018. 08. 14.

Neural Networks and Applications인용 수 154

한 줄 요약

이 논문은 가역 신경망(INN)이 ill-posed 역문제의 전체 사후분포 p(x|y)를 추정할 수 있어 과학 응용에서 다모드(multi-modal)하고 보정된 매개변수 추론을 가능하게 한다는 것을 보여준다.

ABSTRACT

In many tasks, in particular in natural science, the goal is to determine hidden system parameters from a set of measurements. Often, the forward process from parameter- to measurement-space is a well-defined function, whereas the inverse problem is ambiguous: one measurement may map to multiple different sets of parameters. In this setting, the posterior parameter distribution, conditioned on an input measurement, has to be determined. We argue that a particular class of neural networks is well suited for this task -- so-called Invertible Neural Networks (INNs). Although INNs are not new, they have, so far, received little attention in literature. While classical neural networks attempt to solve the ambiguous inverse problem directly, INNs are able to learn it jointly with the well-defined forward process, using additional latent output variables to capture the information otherwise lost. Given a specific measurement and sampled latent variables, the inverse pass of the INN provides a full distribution over parameter space. We verify experimentally, on artificial data and real-world problems from astrophysics and medicine, that INNs are a powerful analysis tool to find multi-modalities in parameter space, to uncover parameter correlations, and to identify unrecoverable parameters.

연구 동기 및 목표

• 자연 및 생명 과학에서 ill-posed 역문제에 대해 전체 사후 p(x|y)를 추론해야 하는 필요성을 동기화한다.
• forward 프로세스를 학습하고 latent 변수로 역을 암시적으로 모델링하는 INN를 제안한다.
• INN가 다모달성, 매개변수 상관관계, 회복 불가능한 매개변수를 포착한다는 것을 보인다.
• synthetic 및 real-world 데이터에서 ABC와 cVAE 대비 경쟁력 있는 성능을 입증한다.

제안 방법

• 앞으로의 프로세스 y=s(x)를 모델링하고 역 g(y,z)=x를 암시적으로 포함하는 f(x)=[y,z]를 사용한다.
• y에서 잃어버린 정보를 포착하기 위해 p(z)=N(0,I)로 사전분포를 가지는 잠재 변수 z를 도입하여 p(x|y) 표현을 가능하게 한다.
• p(z)=N(0,I) 및 y와 z의 독립성을 보장하는 MMD 기반 손실을 통해 f와 g를 양방향으로 학습하여 y≈f_y(x) 및 z≈f_z(x)를 달성한다.
• 결합 계층과 고정/무작위 순열을 활용해 정확한 밀도 계산을 위한 해석 가능한 야코비안이 있는 완전 가역 아키텍처를 구축한다.
• 잠재 변수 z 및 결합된 (y,z) 대 (y, p(z))에 대한 분포 일치를 강제하고 역방향 일관성을 보장하기 위해 Maximum Mean Discrepancy(MMD)을 활용한다.
• 학습을 안정화시키기 위한 순방향 손실과 최적값을 바꾸지 않으면서 수렴을 개선하는 보조 손실 L_x를 사용한다.

실험 결과

연구 질문

• RQ1 INN가 다양한 도메인에서 역문제에 대한 전체 사후 p(x|y)를 재현할 수 있는가?
• RQ2 순방향, 역방향, 양방향 학습 전략이 사후 보정 및 다모달 탐지에 어떤 영향을 미치는가?
• RQ3 합성 데이터와 실제 데이터에서 INN이 정확도와 사후 보정 측면에서 ABC 및 cVAE와 어떻게 비교되는가?

주요 결과

• INN은 전체 사후 p(x|y)를 근사하고 다모달 및 상관된 매개변수 구조를 드러낼 수 있다.
• 순방향 손실뿐만 아니라 순방향 및 역방향 손실을 포함한 양방향 학습이 단방향 학습보다 더 나은 사후 보정을 제공한다.
• INN 사후는 회복 불가능한 매개변수 및 매개변수 상관관계 등 일부 벤치마크가 포착하지 못하는 특성을 보여준다.
• 의료 데이터에서 INN은 cVAE, ABC 및 드롭아웃 기반 NN에 비해 더 우수한 보정 및 MAP 오차를 달성한다.
• 천체물리학 응용에서 INN은 다스펙트럼(multispectral) 데이터로부터 다모달 사후 및 상관된 매개변수 효과를 회복한다.