[论文解读] Categorical Normalizing Flows via Continuous Transformations

Phillip Lippe, Efstratios Gavves|arXiv (Cornell University)|Jun 17, 2020

Time Series Analysis and Forecasting参考文献 45被引用 14

一句话总结

本文提出类别归一化流（Categorical Normalizing Flows, CNF），一种利用变分推断与因子化解码器学习类别数据连续且非重叠表示的方法，实现了高基数类别上的可扩展归一化流。通过在流先验中建模复杂依赖关系，并将表征学习与交互建模分离，CNF 实现了高效的、置换不变的图生成（GraphCNF），在分子生成任务上优于当前最先进的自回归与单次流基模型。

ABSTRACT

Despite their popularity, to date, the application of normalizing flows on categorical data stays limited. The current practice of using dequantization to map discrete data to a continuous space is inapplicable as categorical data has no intrinsic order. Instead, categorical data have complex and latent relations that must be inferred, like the synonymy between words. In this paper, we investigate \emph{Categorical Normalizing Flows}, that is normalizing flows for categorical data. By casting the encoding of categorical data in continuous space as a variational inference problem, we jointly optimize the continuous representation and the model likelihood. Using a factorized decoder, we introduce an inductive bias to model any interactions in the normalizing flow. As a consequence, we do not only simplify the optimization compared to having a joint decoder, but also make it possible to scale up to a large number of categories that is currently impossible with discrete normalizing flows. Based on Categorical Normalizing Flows, we propose GraphCNF a permutation-invariant generative model on graphs. GraphCNF implements a three step approach modeling the nodes, edges and adjacency matrix stepwise to increase efficiency. On molecule generation, GraphCNF outperforms both one-shot and autoregressive flow-based state-of-the-art.

研究动机与目标

• 解决现有归一化流在处理类别数据时的局限性，因其缺乏内在顺序及复杂潜在关系。
• 克服离散归一化流在大规模词表大小与深层架构下的可扩展性问题。
• 开发类别变量的连续、非重叠表示，避免去量化偏差。
• 通过消除对自回归顺序的依赖，实现图与序列的高效并行生成。
• 在多种任务中展示 CNF 的有效性，包括分子生成、语言建模与真实世界表格数据。

提出的方法

• 将类别数据编码为连续空间的问题转化为变分推断问题，联合优化潜在表示与模型似然。
• 使用因子化解码器，将表征学习与交互建模解耦，迫使归一化流捕捉复杂依赖关系。
• 在学习到的连续潜在空间上应用连续、可逆变换，通过归一化流建模联合分布。
• 提出 GraphCNF，一种三步流基模型，以置换不变方式顺序编码节点属性、边属性与邻接矩阵。
• 采用混合密度网络作为编码器，以建模连续编码的后验分布，其参数由小型前馈网络决定。
• 所有实验均使用基于 LSTM 的耦合网络的单一耦合层，超参数经调优以确保稳定性和性能。

实验结果

研究问题

• RQ1 能否在不依赖去量化（dequantization）的前提下，有效将归一化流应用于类别数据，避免人为引入顺序？
• RQ2 如何将归一化流扩展至高基数类别数据（如大规模词表或复杂图）？
• RQ3 通过使用非自回归、置换不变的流基模型，能否在图生成中实现更优性能？
• RQ4 通过因子化解码器将表征学习与交互建模分离，是否能提升训练稳定性与可扩展性？
• RQ5 简单的混合模型用于编码是否能泛化至语言、集合与图等多样化的类别数据类型？

主要发现

• GraphCNF 在分子生成任务上达到最先进性能，优于单次与自回归流基基线模型。
• 在 Penn Treebank 数据集上，类别归一化流实现 1.27 ± 0.01 比特/字符的测试损失，与 LSTM 基线相当，同时支持并行采样。
• 在 text8 数据集上，类别归一化流实现 1.45 ± 0.01 比特/字符，优于基线 LSTM 与潜在归一化流模型。
• 在 Wikitext103 数据集上，类别归一化流实现 5.43 ± 0.09 比特/字符，显著优于基线 LSTM 与潜在 NF 模型。
• 在信用卡风险数据集上，类别归一化流实现 1.37 ± 0.03 比特/维度的似然，与潜在归一化流基线相当，但重建误差更低。
• 该方法在大类别空间中表现出良好可扩展性，可在高达 10,000 个词类别的数据集上训练，性能无下降。