[論文レビュー] SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows

Didrik Nielsen, Priyank Jaini+3 more|arXiv (Cornell University)|Jul 6, 2020

Generative Adversarial Networks and Image Synthesis参考文献 44被引用数 26

ひとこと要約

SurVAE フロウは、可逆変換を用いた変分オートエンコーダー（VAEs）とノーマライジングフローを統合する包括的でモジュラーなフレームワークを導入する。これは、確定的な前向きマップと確率的逆マップを持つ全射変換を用いることで、正確な尤度計算が可能であり、次元変更、離散データ、複雑な構造の取り扱いも可能となる。この手法により、マックスプーリング、ソーティング、確率的順列変換といった合成可能なレイヤーが可能となり、正確な尤度を伴う画像およびポイントクラウド生成で最先端の結果を達成する。

ABSTRACT

Normalizing flows and variational autoencoders are powerful generative models that can represent complicated density functions. However, they both impose constraints on the models: Normalizing flows use bijective transformations to model densities whereas VAEs learn stochastic transformations that are non-invertible and thus typically do not provide tractable estimates of the marginal likelihood. In this paper, we introduce SurVAE Flows: A modular framework of composable transformations that encompasses VAEs and normalizing flows. SurVAE Flows bridge the gap between normalizing flows and VAEs with surjective transformations, wherein the transformations are deterministic in one direction -- thereby allowing exact likelihood computation, and stochastic in the reverse direction -- hence providing a lower bound on the corresponding likelihood. We show that several recently proposed methods, including dequantization and augmented normalizing flows, can be expressed as SurVAE Flows. Finally, we introduce common operations such as the max value, the absolute value, sorting and stochastic permutation as composable layers in SurVAE Flows.

研究の動機と目的

• 正確な尤度推定と柔軟なアーキテクチャ設計を可能にする合成可能なフレームワークを導入することで、VAE とノーマライジングフローの長所を統合すること。
• 既存モデルの限界、例えば離散データの処理不能、連結成分の欠落、次元変更の不具合を解消しつつ、トレーサブルな尤度を維持すること。
• 変換が合成可能で、明確な前向き、逆マップ、尤度計算の各コンponentを持つモジュラーなソフトウェアフレームワークを提供すること。
• 最近の特殊化されたモデル（例：デクォンタイゼーション、拡張フロー）が、SurVAE フロウの特殊なケースとして表現可能であることを示すこと。
• 最大値、絶対値、ソーティング、確率的順列変換といった、対称性や交換可能なデータをモデリングするための新しい合成可能なレイヤーを導入すること。

提案手法

• VAE（確率的で非可逆的）とノーマライジングフロー（双方向可逆的で可逆的）をつなぐ全射変換を導入。前向きマップは確定的で、逆マップは確率的である。
• 3つのコンponent（前向き変換、確率的逆マップ、ヤコビアン行列式と条件付きエントロピーを用いた尤度計算）からなるモジュラーなフレームワークを定義する。
• マックスプーリング、絶対値、ソーティング、確率的順列変換といった合成可能なレイヤーを設計。各レイヤーに明示的な前向きおよび確率的逆マップを備える。
• 表現力の高いフローを実現するため、可逆カップリングレイヤーと1×1畳み込みを基本ブロックとし、深層ネットワーク（例：DenseNets、Transformers）でパラメータ化する。
• 離散画像データの処理と尤度推定の向上のため、変分的デクォンタイゼーションとスイーピングレイヤーを実装する。
• 確率的勾配降下法を用いて最大尤度推定でモデルを訓練。前向きパスからの正確な対数尤度と逆パスからの変分下界を活用する。

実験結果

リサーチクエスチョン

• RQ1 次元変更や離散データの処理が可能で、ノーマライジングフローの正確な尤度とVAEの柔軟性を併せ持つ、統合的かつ合成可能なフレームワークを設計できるか？
• RQ2 全射変換を用いて、確定的な前向きマップと確率的逆マップを持つが、依然として正確な尤度計算が可能な仕組みをどのように定義できるか？
• RQ3 マックスプーリング、ソーティング、確率的順列変換といった一般的な操作を、確率的フロー枠組み内で微分可能で合成可能なレイヤーとして形式化できるか？
• RQ4 既存の特殊化されたモデル（例：デクォンタイゼーション、拡張フロー）が、この新しい SurVAE フロウフレームワークのインスタンスとして表現できる範囲はどの程度か？
• RQ5 SurVAE フロウは、画像やポイントクラウドといった複雑なデータに対して、尤度とサンプル品質の観点で実際の性能をどの程度発揮するか？

主な発見

• SurVAE フロウは、CIFAR-10、ImageNet 32×32、ImageNet 64×64 データセットで最先端の尤度スコアを達成。MaxPoolFlow バリエーションは、すべてのベンチマークでベースラインのフローを上回る性能を示した。
• マックスプーリングの全射変換を用いた MaxPoolFlow モデルは、正確な尤度計算を維持しながら次元削減を可能にし、競争力のある尤度スコアを達成した。
• 絶対値やソーティングといったレイヤーを用いて、離散的かつ対称的なデータ構造を効果的にモデリング。これらは標準的なノーマライジングフローではネイティブにサポートされていない。
• このフレームワークにより、多様なモデルが統合された：デクォンタイゼーション、拡張フロー、確率的順列変換レイヤーはすべて SurVAE フロウコンponentsとして表現可能である。
• 実験では、合成データ、ポイントクラウド、画像データに対して、高品質なサンプルを生成し、ベースラインと同等またはそれ以上の視覚的品質を達成した。
• オープンソースのコードにより再現性とモジュラーな拡張性が可能で、事前学習済みモデルと、Transformers や DenseNets を含む多様なアーキテクチャのサポートを実装している。