[论文解读] Learning Likelihoods with Conditional Normalizing Flows

Christina Winkler, Daniel E. Worrall+2 more|arXiv (Cornell University)|Nov 29, 2019

Advanced Image Processing Techniques参考文献 39被引用 55

一句话总结

本文演示了使用条件正则化流（CNFs）学习条件分布 pY|X，并将其应用于超分辨率和视网膜血管分割，在建模多模态、相关输出的同时，获得具有竞争力的似然和标准指标。

ABSTRACT

Normalizing Flows (NFs) are able to model complicated distributions p(y) with strong inter-dimensional correlations and high multimodality by transforming a simple base density p(z) through an invertible neural network under the change of variables formula. Such behavior is desirable in multivariate structured prediction tasks, where handcrafted per-pixel loss-based methods inadequately capture strong correlations between output dimensions. We present a study of conditional normalizing flows (CNFs), a class of NFs where the base density to output space mapping is conditioned on an input x, to model conditional densities p(y|x). CNFs are efficient in sampling and inference, they can be trained with a likelihood-based objective, and CNFs, being generative flows, do not suffer from mode collapse or training instabilities. We provide an effective method to train continuous CNFs for binary problems and in particular, we apply these CNFs to super-resolution and vessel segmentation tasks demonstrating competitive performance on standard benchmark datasets in terms of likelihood and conventional metrics.

研究动机与目标

• 在高维输出中激励学习条件分布 pY|X，而不需要强手工设计的损失函数。
• 引入对基分布和可逆变换都条件化在 X 上的 CNFs。
• 展示在结构化预测任务中对多模态且相关的输出进行建模的能力。
• 提出一种二进制变量的变分去量化框架，以在离散数据上实现 CNFs。

提出的方法

• 使用条件正则化流 pY|X(y|x)=pZ|X(z|x)|det dfφ(y,x)/dy|，其中 z=fφ(y;x) 且 x 条件的先验 pZ|X。
• 通过共享表示 h=g(x) 将先验条件化、分割先验以及仿射耦合层对 x 条件化。
• 通过将 y 流化为 z 并在条件先验下最大化对数似然来训练，从而实现基于似然的优化。
• 将变分去量化扩展到二进制变量，引入半无限噪声以使 v 与 y 的支撑对齐。

实验结果

研究问题

• RQ1 CNFs 能否高效地在高维预测任务中对具有多模态和相关输出的条件分布 pY|X(y|x) 进行建模？
• RQ2 对 x 同时条件化基分布和可逆变换是否在似然和任务相关指标上优于因子化基线？
• RQ3 变分去量化对 CNFs 的二值分割的学习和校准有何影响？
• RQ4 在标准基准上评估时，CNFs 是否与最先进的逐像素损失方法在超分辨率和血管分割方面具有竞争力？

主要发现

• CNFs 在基于 ImageNet 的超分辨率上相比可比的因子化基线获得更高的条件对数似然（例如 ImageNet32：CNF 3.01 vs 基线 4.00；ImageNet64：CNF 2.90 vs 基线 3.61）。
• CNF 采样相较于因子化基线显示出更清晰的高频内容和更清晰的细节，通过采样温度进行知觉调优。
• 在标准的超分辨率基准上，CNFs 在 PSNR 方面具有竞争力或优于逐像素方法，在 SSIM 方面则相当，显示出建模输出相关性的优势。
• 在视网膜血管分割中，二进制去量化的 CNF 相对于强大的基于 CNN 的方法如 DRIU 和 HED，获得有竞争力的比特/维度和 F-score，同时提供良好校准的概率输出。
• 该方法表明用 CNFs 学习似然在多维、结构化预测任务中可以超越人工设计的损失基线。