[论文解读] Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment

Ben Usman, Avneesh Sud+2 more|arXiv (Cornell University)|Mar 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用 5

一句话总结

本文提出对数似然比最小化流（LRMF），一种非对抗性的神经分布对齐方法，利用归一化流最小化基于似然的损失函数，确保经变换的源数据在指定密度模型族下与目标数据不可区分。该方法在收敛时实现零损失，保证共享密度模型的相互最优性，并支持自动验证，对模型误设具有鲁棒性。

ABSTRACT

Distribution alignment has many applications in deep learning, including domain adaptation and unsupervised image-to-image translation. Most prior work on unsupervised distribution alignment relies either on minimizing simple non-parametric statistical distances such as maximum mean discrepancy or on adversarial alignment. However, the former fails to capture the structure of complex real-world distributions, while the latter is difficult to train and does not provide any universal convergence guarantees or automatic quantitative validation procedures. In this paper, we propose a new distribution alignment method based on a log-likelihood ratio statistic and normalizing flows. We show that, under certain assumptions, this combination yields a deep neural likelihood-based minimization objective that attains a known lower bound upon convergence. We experimentally verify that minimizing the resulting objective results in domain alignment that preserves the local structure of input domains.

研究动机与目标

• 解决对抗性域对齐方法中缺乏收敛保证和定量验证的问题。
• 开发一种现有分布对齐技术的非对抗性替代方法，同时保持局部数据结构。
• 通过单一、可解释的目标函数实现自动模型选择和性能验证。
• 结合非参数方法的结构保真度与深度神经网络的表征能力。
• 提供可验证的、基于最小化的目标函数，确保在给定密度模型族下的域等价性。

提出的方法

• 该方法最小化在源域和目标域上分别训练的‘私有’模型与在变换后的源域和目标域联合数据上训练的‘共享’模型之间的对数似然比差距。
• 利用归一化流作为可逆变换来参数化域对齐映射，确保可逆性并实现可计算的似然。
• 目标函数的设计使得仅当共享密度模型对变换后的源域和目标域均为最优时，其值才为零，表明实现了完全对齐。
• 通过利用归一化流的结构，避免了极小-极大优化，实现了保证收敛至已知下界的一元最小化。
• 该方法等价于训练特定GAN，但避免了模式崩溃和不稳定性，且性能可直接从目标值推断。
• 通过损失景观分析检测梯度消失模式，并表征高维空间中的失败模式。

实验结果

研究问题

• RQ1 能否构建一种非对抗性、基于最小化的目标函数，以确保域对齐具有可验证的收敛性和性能度量？
• RQ2 使用归一化流是否能实现单目标公式化，从而保证源域和目标域密度模型的相互最优性？
• RQ3 与现有非对抗性基线相比，该方法在保留局部数据结构方面表现如何？
• RQ4 在模型误设（如过参数化或欠参数化）下，该方法的鲁棒性如何？
• RQ5 为何在高维设置下损失无法收敛至零，其根本失败模式是什么？

主要发现

• LRMF目标函数在训练过程中收敛至零，表明共享密度模型对变换后的源域和目标域均达到最优。
• 在目标MNIST数据集上，使用LRMF变换嵌入解码生成的图像进行分类，准确率达到55%，显著优于EMD（48%）和CORAL（47%），McNemar检验p值≪1e-3。
• 该方法保留了局部数据结构，表现为潜在空间中跨域语义对齐的数字图像可视化。
• 在高维设置（如基于GLOW的对齐）中，由于损失景观存在平坦区域，损失未达到零，表明未实现完全边缘对齐。
• 尽管未收敛，该方法并未无声失败——损失值提供了子最优对齐的明确信号，与对抗性方法不同。
• 在更高维空间中，模型表现出生成器梯度消失问题，与GAN中已知的失败模式一致，但目标函数在整个训练过程中始终保持可解释性。