[论文解读] Benchmarking Invertible Architectures on Inverse Problems

Jakob Kruse, Lynton Ardizzone+2 more|arXiv (Cornell University)|Jan 26, 2021

Model Reduction and Neural Networks参考文献 14被引用 25

一句话总结

本文在两个低维反问题上比较了十种可逆及相关架构，发现耦合层模型（INN, cINN）和简单自编码器表现最好，MDN 也很强，而有些架构表现欠佳。

ABSTRACT

Recent work demonstrated that flow-based invertible neural networks are promising tools for solving ambiguous inverse problems. Following up on this, we investigate how ten invertible architectures and related models fare on two intuitive, low-dimensional benchmark problems, obtaining the best results with coupling layers and simple autoencoders. We hope that our initial efforts inspire other researchers to evaluate their invertible architectures in the same setting and put forth additional benchmarks, so our evaluation may eventually grow into an official community challenge.

研究动机与目标

• 系统性评估可逆架构在反问题上的表现。
• 评估硬可逆与软可逆模型在 p(x|y) 重建中的影响。
• 识别在基准问题上能提供准确后验估计的架构与损失函数。

提出的方法

• 评估包括 INN、cINN、IAF、MAF、iResNet、InvAuto、Autoencoder、cVAE、MDN 共十种架构在两个反问题上的性能。
• 使用两个目标度量：后验不匹配（MMD）和前向重现误差。
• 在多种损失配置下训练（L2、MMD、ML 似然）以及可选的前向过程监督。
• 通过拒绝采样提供真实后验以进行公平评估。
• 包含真实后验采样以供比较。
• 报告推断时间和参数数量以比较效率。

实验结果

研究问题

• RQ1 软可逆性是否足以解决反问题？
• RQ2 硬可逆性的架构限制是否会降低性能？
• RQ3 哪些架构和损失函数能给出最准确的后验估计？
• RQ4 不同模型在推断速度和可扩展性方面的比较如何？

主要发现

方法	后验误差(10)	前向重现误差(11)	推理时间（ms）	维度(z)	ML 损失	y-监督
INN	0.025	0.015	10	${\bullet}{\bullet}$	$\checkmark$	$\checkmark$
INN (L2 + MMD)	0.017	0.086	9	${\bullet}{\bullet}$	${empty}$	$\checkmark$
cINN	0.015	0.008	11	${\bullet}{\bullet}{\bullet}{\bullet}$	$\checkmark$	${empty}$
IAF + Decoder	0.419	0.222	0	${\bullet}{\bullet}{\bullet}{\bullet}$	$\checkmark$	$\checkmark$
MAF + Decoder	0.074	0.034	0	${\bullet}{\bullet}{\bullet}{\bullet}$	$\checkmark$	$\checkmark$
iResNet	0.713	0.311	763	${\bullet}{\bullet}$	${empty}$	$\checkmark$
InvAuto	0.062	0.022	1	${\bullet}{\bullet}$	${empty}$	$\checkmark$
Autoencoder	0.037	0.016	0	${\bullet}{\bullet}$	${empty}$	$\checkmark$
cVAE	0.042	0.019	0	${\bullet}{\bullet}$	${empty}$	${empty}$
MDN	0.007	0.012	601	${\bullet}{\bullet}{\bullet}{\bullet}$	$\checkmark$	${empty}$
INN	0.047	0.019	21	${\bullet}{\bullet}{\bullet}$	$\checkmark$	$\checkmark$
INN (L2 + MMD)	0.060	3.668	21	${\bullet}{\bullet}{\bullet}$	${empty}$	$\checkmark$
cINN	0.047	0.437	22	${\bullet}{\bullet}{\bullet}{\bullet}$	$\checkmark$	${empty}$
IAF + Decoder	0.323	3.457	0	${\bullet}{\bullet}{\bullet}{\bullet}$	$\checkmark$	$\checkmark$
MAF + Decoder	0.213	1.010	0	${\bullet}{\bullet}{\bullet}{\bullet}$	$\checkmark$	$\checkmark$
iResNet	0.084	0.091	307	${\bullet}{\bullet}$	${empty}$	$\checkmark$
InvAuto	0.156	0.315	1	${\bullet}{\bullet}$	${empty}$	$\checkmark$
Autoencoder	0.049	0.052	1	${\bullet}{\bullet}$	${empty}$	$\checkmark$
cVAE	4.359	0.812	0	${\bullet}{\bullet}$	${empty}$	${empty}$
MDN	0.048	0.184	175	${\bullet}{\bullet}{\bullet}{\bullet}$	$\checkmark$	${empty}$

• 基于耦合层的模型（INN、cINN）在所有指标上获得最佳平均表现。
• MDN 在后验不匹配和重现性指标上都表现出色，能直接强力建模 p(x|y)。
• Invertible ResNet 在这些任务上出现模式崩溃，表明对这些基准存在局限。
• IAF 与 MAF 搭配解码器及某些设置在这些任务中未能稳健捕捉后验。
• 某些模型需要完整协方差建模（如 MDN）或小心训练以扩展到更高维度。
• 自编码器同样具有竞争力，支持软可逆方法作为可行基线。