[论文解读] InfoCNF: An Efficient Conditional Continuous Normalizing Flow with Adaptive Solvers

Tan M. Nguyen, Animesh Garg+2 more|arXiv (Cornell University)|Dec 9, 2019

Time Series Analysis and Forecasting参考文献 35被引用 8

一句话总结

InfoCNF 提出了一种高效的条件连续归一化流方法，通过将潜在空间划分为特定类别的监督编码和共享的无监督编码，降低了模型复杂度和NFEs。通过门控网络学习ODE求解器的误差容限，进一步提升了训练速度和性能，在CIFAR10上实现了更高的测试准确率和更低的似然值，同时减少了函数求值次数。

ABSTRACT

Continuous Normalizing Flows (CNFs) have emerged as promising deep generative models for a wide range of tasks thanks to their invertibility and exact likelihood estimation. However, conditioning CNFs on signals of interest for conditional image generation and downstream predictive tasks is inefficient due to the high-dimensional latent code generated by the model, which needs to be of the same size as the input data. In this paper, we propose InfoCNF, an efficient conditional CNF that partitions the latent space into a class-specific supervised code and an unsupervised code that shared among all classes for efficient use of labeled information. Since the partitioning strategy (slightly) increases the number of function evaluations (NFEs), InfoCNF also employs gating networks to learn the error tolerances of its ordinary differential equation (ODE) solvers for better speed and performance. We show empirically that InfoCNF improves the test accuracy over the baseline while yielding comparable likelihood scores and reducing the NFEs on CIFAR10. Furthermore, applying the same partitioning strategy in InfoCNF on time-series data helps improve extrapolation performance.

研究动机与目标

• 为解决现有条件CNF方法使用高维、类别特定的潜在编码所导致的模型复杂度和NFEs增加的问题。
• 通过解耦监督与无监督潜在表示，提升条件CNF的训练效率和性能。
• 在不损失模型性能的前提下，减少ODE求解器的函数求值次数（NFEs）。
• 开发一种可学习机制，利用门控网络实现ODE求解器容限的自适应调整，替代人工调参。
• 通过所提出的条件策略，提升时间序列建模中的泛化与外推能力。

提出的方法

• InfoCNF 将潜在编码划分为两部分：类别特定的监督编码和共享的无监督编码，实现对标注数据的高效利用。
• 监督编码同时用于条件生成与分类任务，减少分类器大小并提升特征解耦程度。
• 模型最大化似然 $ p(\mathbf{x}|y) = p(\mathbf{z}_y|y)p(\mathbf{z}_u) $，该目标对应于互信息最大化，促进表示的解耦。
• 训练一个门控网络（如CNN）基于输入数据批次预测ODE求解器的最优误差容限，替代人工调参。
• 通过动态学习求解器精度，实现在CNF中的自适应计算，提升训练速度与鲁棒性。
• 该方法在CIFAR10上验证了图像生成性能，在合成时间序列数据上验证了轨迹拟合与外推能力。

实验结果

研究问题

• RQ1 将潜在编码划分为监督与无监督分量，是否能提升条件CNF的效率与性能？
• RQ2 从数据中学习ODE求解器的误差容限，是否能带来更快的训练速度和更好的模型泛化能力？
• RQ3 所提出的条件策略是否能增强时间序列建模任务中的外推性能？
• RQ4 将学习到的容限与大批次训练及更高学习率结合，对模型收敛与性能有何影响？
• RQ5 该划分策略在保持或提升似然与准确率的同时，能在多大程度上减少NFEs？

主要发现

• InfoCNF 在CIFAR10上的测试准确率高于基线CCNF，同时保持了相近的似然分数。
• 该模型显著减少了函数求值次数（NFEs），提升了训练效率。
• 通过门控网络学习ODE求解器容限，相比固定或手动调参的容限，实现了更快的收敛与更优的性能。
• 划分策略提升了时间序列数据的外推性能，尤其在未见领域中表现更优，如在合成双向螺旋数据集上的表现。
• 将学习到的容限与大批次训练及更高学习率结合，进一步提升了模型性能，降低了NLL与NFE。
• InfoCNF中的交叉熵损失对应于互信息最大化，促进了监督编码与输入数据之间的解耦表示。