[论文解读] Analyzing Inverse Problems with Invertible Neural Networks

Lynton Ardizzone, Jakob Kruse+7 more|arXiv (Cornell University)|Aug 14, 2018

Neural Networks and Applications被引用 154

一句话总结

本论文表明可逆神经网络（INN）可以估计病态逆问题的完整后验 p(x|y)，从而在科学应用中实现多模态且经过校准的参数推断。

ABSTRACT

In many tasks, in particular in natural science, the goal is to determine hidden system parameters from a set of measurements. Often, the forward process from parameter- to measurement-space is a well-defined function, whereas the inverse problem is ambiguous: one measurement may map to multiple different sets of parameters. In this setting, the posterior parameter distribution, conditioned on an input measurement, has to be determined. We argue that a particular class of neural networks is well suited for this task -- so-called Invertible Neural Networks (INNs). Although INNs are not new, they have, so far, received little attention in literature. While classical neural networks attempt to solve the ambiguous inverse problem directly, INNs are able to learn it jointly with the well-defined forward process, using additional latent output variables to capture the information otherwise lost. Given a specific measurement and sampled latent variables, the inverse pass of the INN provides a full distribution over parameter space. We verify experimentally, on artificial data and real-world problems from astrophysics and medicine, that INNs are a powerful analysis tool to find multi-modalities in parameter space, to uncover parameter correlations, and to identify unrecoverable parameters.

研究动机与目标

• 动机：在自然科学和生命科学中推断病态逆问题的完整后验 p(x|y) 的必要性。
• 提出能够学习正向过程并通过潜变量隐式建模逆向过程的可逆神经网络（INN）。
• 展示 INN 能捕捉多模态性、参数相关性以及不可恢复参数。
• 在合成数据和真实世界数据上，展示与 ABC 和 cVAE 相当的性能。

提出的方法

• 使用可逆神经网络 f(x)=[y,z] 来建模正向过程 y=s(x) 和一个隐式逆过程 g(y,z)=x。
• 引入先验 p(z)=N(0,I) 的潜变量 z，以捕捉在 y 中丢失的信息，从而实现 p(x|y) 的后验表示。
• 双向训练 f 和 g，使得 y≈f_y(x) 且 z≈f_z(x)，同时通过基于 MMD 的损失强制 p(z)=N(0,I) 以及 y 与 z 的独立性。
• 利用耦合层和固定/随机置换来构建一个完全可逆的架构，具备可处理行列式的雅可比，便于精确密度计算。
• 应用最大均值差异（MMD）以强制匹配 z 的分布以及 (y,z) 与 (y,p(z)) 的联合分布，并确保向后的一致性。
• 使用前向损失来稳定学习，以及辅助损失 L_x 以在不改变最优解的情况下改善收敛。

实验结果

研究问题

• RQ1 INN 是否能够在跨领域的逆问题中恢复完整的后验 p(x|y)？
• RQ2 前向、向后和双向训练策略如何影响后验校准和多模态检测？
• RQ3 在合成数据和真实数据上，INN 相对于 ABC 和 cVAE 在精度和后验校准方面的表现如何？

主要发现

方法	MAP误差 sO2	MAP误差 全部	MAP 重采样误差	校准误差
NN (+ Dropout)	0.057 b1 0.003	0.56 b1 0.01	0.397 b1 0.008	1.91%
INN	0.041 b1 0.002	0.57 b1 0.02	0.327 b1 0.007	0.34%
INN, only L_y,L_z	0.066 b1 0.003	0.71 b1 0.02	0.506 b1 0.010	1.62%
INN, only L_x	0.861 b1 0.033	1.70 b1 0.02	2.281 b1 0.045	3.20%
cVAE	0.050 b1 0.002	0.74 b1 0.02	0.314 b1 0.007	2.19%
cVAE-IAF	0.050 b1 0.002	0.74 b1 0.03	0.313 b1 0.008	1.40%
ABC	0.036 b1 0.001	0.54 b1 0.02	0.284 b1 0.005	0.90%
Simulation noise			0.129 b1 0.001

• INN 能逼近完整后验 p(x|y)，并揭示多模态和相关的参数结构。
• 带前向与后向损失的双向训练比仅前向训练获得更好的后验校准。
• INN 的后验显示正确的不可恢复参数和某些基线未捕捉到的参数相关性。
• 在医疗数据上，INN 相对于 cVAE、ABC 和 dropout 基的神经网络，在校准和 MAP 误差方面具有优势。
• 在天体物理应用中，INNs 从多光谱数据中恢复多模态后验和相关参数效应。