[論文レビュー] Categorical Normalizing Flows via Continuous Transformations

Phillip Lippe, Efstratios Gavves|arXiv (Cornell University)|Jun 17, 2020

Time Series Analysis and Forecasting参考文献 45被引用数 14

ひとこと要約

本稿では、因子化デコーダを用いた変分推論を用いて、連続的で重複のないカテゴリカルデータの表現を学習する、カテゴリカル正規化フロー（CNF）を提案する。これにより、高基数のカテゴリに対してスケーラブルな正規化フローが可能となり、グラフ生成のためのGraphCNFにより、順序に依存しない効率的な生成が実現される。この手法は、分子生成において、最新の自己回帰的およびワンショットのフローに基づくモデルを上回る性能を発揮する。

ABSTRACT

Despite their popularity, to date, the application of normalizing flows on categorical data stays limited. The current practice of using dequantization to map discrete data to a continuous space is inapplicable as categorical data has no intrinsic order. Instead, categorical data have complex and latent relations that must be inferred, like the synonymy between words. In this paper, we investigate \emph{Categorical Normalizing Flows}, that is normalizing flows for categorical data. By casting the encoding of categorical data in continuous space as a variational inference problem, we jointly optimize the continuous representation and the model likelihood. Using a factorized decoder, we introduce an inductive bias to model any interactions in the normalizing flow. As a consequence, we do not only simplify the optimization compared to having a joint decoder, but also make it possible to scale up to a large number of categories that is currently impossible with discrete normalizing flows. Based on Categorical Normalizing Flows, we propose GraphCNF a permutation-invariant generative model on graphs. GraphCNF implements a three step approach modeling the nodes, edges and adjacency matrix stepwise to increase efficiency. On molecule generation, GraphCNF outperforms both one-shot and autoregressive flow-based state-of-the-art.

研究の動機と目的

• 既存の正規化フローがカテゴリカルデータを扱う際の制限（内在的な順序の欠如と複雑な潜在的関係）を解消すること。
• 特に大規模な語彙サイズや深層アーキテクチャにおいて顕著なスケーラビリティの問題を克服すること。
• デクアンタイゼーションバイアスを回避するため、連続的で重複のないカテゴリカル変数の表現を実現すること。
• 自己回帰的順序に依存しないことで、並列に効率的にグラフや系列を生成できるようにすること。
• 分子生成、言語モデリング、実世界の表形式データを含む多様なタスクにおいて、CNFの有効性を実証すること。

提案手法

• カテゴリカルデータの連続空間への符号化を、潜在表現とモデル尤度を同時に最適化する変分推論問題として定式化する。
• 表現学習と相互作用モデリングを分離する因子化デコーダを用い、正規化フローが複雑な依存関係を捉えるようにする。
• 学習された連続的潜在空間上で連続的かつ可逆的な変換を正規化フローにより適用し、同時分布をモデル化する。
• ノード属性、エッジ属性、隣接行列を順に符号化する3段階のフローに基づくモデルであるGraphCNFを導入し、順序に依存しない方法で処理する。
• エンコーダに混合密度ネットワークを採用し、連続コード上の事後分布をモデル化する。そのパラメータは小さな順方向ネットワークによって決定される。
• すべての実験で、LSTMベースのカップリングネットワークを用いた単一のカップリング層を採用し、安定性と性能の最適化のためのハイパーパrameterを調整する。

実験結果

リサーチクエスチョン

• RQ1 デクアンタイゼーションに依存せず、人工的な順序を導入せずに、正規化フローをカテゴリカルデータに効果的に適用できるか？
• RQ2 大基数のカテゴリカルデータ（例えば大規模語彙や複雑なグラフ）に対して、正規化フローをどのようにスケーリングできるか？
• RQ3 非自己回帰的かつ順序に依存しないフローに基づくモデルを用いることで、グラフ生成の性能を向上させられるか？
• RQ4 因子化デコーダによる表現学習と相互作用モデリングの分離が、学習の安定性とスケーラビリティを向上させるか？
• RQ5 単純な混合モデルによる符号化が、言語、集合、グラフなど多様なカテゴリカルデータタイプに一般化可能か？

主な発見

• GraphCNFは、分子生成において最先端の性能を達成し、ワンショットおよび自己回帰的フローに基づくベースラインを上回った。
• Penn Treebankデータセットでは、Categorical Normalizing Flowsが1文字あたり1.27 ± 0.01ビットのテスト損失を達成し、LSTMベースラインと同等の性能を示したが、並列サンプリングが可能となった。
• text8では、Categorical Normalizing Flowsが1文字あたり1.45 ± 0.01ビットを達成し、LSTMベースラインおよび潜在正規化フローのモデルを上回った。
• Wikitext103では、Categorical Normalizing Flowsが1文字あたり5.43 ± 0.09ビットを達成し、LSTMベースラインおよび潜在NFモデルを著しく上回った。
• クレジットカードリスクデータセットでは、Categorical Normalizing Flowsが1次元あたり1.37 ± 0.03ビットの尤度を達成し、潜在正規化フローのベースラインと同等の性能を示したが、再構成誤差は低かった。
• 本手法は大規模なカテゴリカル空間に対しても効果的にスケーリングでき、最大10,000語の語彙を持つデータセットでも性能の劣化なしに学習が可能となった。