[論文レビュー] A RAD approach to deep mixture models

Laurent Dinh, Jascha Sohl‐Dickstein+2 more|arXiv (Cornell University)|Mar 18, 2019

Bayesian Methods and Mixture Models参考文献 56被引用数 20

ひとこと要約

この論文は、連続的および離散的構造を同時にモデル化できる正規化フロー・アーキテクチャであるReal and Discrete (Rad)を提案する。このアーキテクチャは、区分的可逆変換と離散的潜在変数を組み合わせ、データ内の連続的および離散的構造を正確に表現する。局所的に可逆な写像を用い、データを領域に折りたたむことで、正確な尤度推定、正確なサンプリング、正確な推論を可能にし、特に多モーダル分布や多様体構造を持つ分布をモデル化する際の従来の正規化フローの限界を克服する。

ABSTRACT

Flow based models such as Real NVP are an extremely powerful approach to density estimation. However, existing flow based models are restricted to transforming continuous densities over a continuous input space into similarly continuous distributions over continuous latent variables. This makes them poorly suited for modeling and representing discrete structures in data distributions, for example class membership or discrete symmetries. To address this difficulty, we present a normalizing flow architecture which relies on domain partitioning using locally invertible functions, and possesses both real and discrete valued latent variables. This Real and Discrete (RAD) approach retains the desirable normalizing flow properties of exact sampling, exact inference, and analytically computable probabilities, while at the same time allowing simultaneous modeling of both continuous and discrete structure in a data distribution.

研究の動機と目的

• 多モーダル分布、離散的対称性、または多様体の和集合上に存在するデータなどの離散的構造をモデル化する際の、従来の正規化フローの制限を解消すること。
• 連続的潜在空間を複雑で滑らかでないデータ分布に写像しようとする際の数値的不安定性や最適化の難易度を克服すること。
• 実数および離散的潜在変数を併用する混合モデルにおいて、正確な推論、正確なサンプリング、解析的に計算可能な対数尤度を実現すること。
• 正規化フローの望ましい性質（例えば、尤度の取り扱いの容易さや可逆性）を維持しつつ、ドメインの分割を用いて離散的構造を扱えるように拡張すること。
• 深層混合モデルにおける近似推論手法（例：ハード-EM や変分推論）の代替として、スケーラブルかつ正確な手法を提供すること。

提案手法

• 入力空間を互いに素な部分集合に分割する区分的可逆関数を用いる、Real and Discrete (Rad) フロー・アーキテクチャを提案する。
• 各部分集合が離散的ラベル $ K $ に対応する、上への写像（surjective）かつ局所的に可逆な変換を定義する。各部分集合は潜在空間内の特定の領域に写像され、ラベル $ K $ が入力 $ m{x} $ が属する部分集合を示す。
• 入力 $ m{x} $ を部分集合 $ m{A}_k $ に割り当てる区分関数 $ f_K(m{x}) $ を用い、尤度を $ p_X(m{x}) = p_K(f_K(m{x})) p_{X|K}(m{x} | f_K(m{x})) $ として計算することで、全成分の和算を回避する。
• 各部分集合ごとに異なる可逆変換を適用するRadレイヤーを設計し、データをモード間で折りたたむ（例：分離された多様体を接続する）ことで、各領域内で可逆性を保ちつつ、複数のモードを統合可能にする。
• フローフレームワークに離散的ラベル $ K $ を統合し、条件付き確率 $ p_{K|Z} $ を学習可能にすることで、変換中に異なるモードの分離を維持する。
• 区分的構造と離散的ラベルの割り当てを反映するヤコビアン行列式を維持することで、正確な対数尤度計算を保証する。

実験結果

リサーチクエスチョン

• RQ1 正規化フローは、多モーダル分布や多様体構造を持つ分布などの離散的構造を正確にモデル化しつつ、正確な推論と尤度評価を維持できるか？
• RQ2 区分的可逆変換は、1つのフローアーキテクチャ内で連続的および離散的潜在変数を同時に扱えるように設計できるか？
• RQ3 フローにおける折りたたみ機構は、完全なアンロールを必要とせず、数値的不安定性を引き起こさずに、分離されたモード（例：輪やらせん）を効果的に接続できるか？
• RQ4 離散的潜在変数の導入により、訓練効率や正確性を損なわずに、深層混合モデルにおけるモデル化能力がどの程度向上するか？
• RQ5 Radアーキテクチャは、内在的な離散的対称性やクラスタ構造を持つデータ分布を扱う際、従来のReal NVPと比較してどの程度優れているか？

主な発見

• Radは最終層でのデータのモード間折りたたみにより、リング型ガウス混合分布を効果的にモデル化し、複数の分離されたモードを1つの連続的潜在モードに変換した。
• らせん問題において、Radはらせんを事前に3つの明確な直線に分解し、それらを接続するのに対し、Real NVPは連続的な双射写像では多様体を十分にアンロールできなかった。
• 変換の過程でも離散的ラベル $ K $ が良好に保持され、元の異なるラベルを持つ点が潜在空間でも分離されたままであり、離散的構造の効果的なモデリングを示している。
• 複雑で滑らかでないデータ分布（複数のモードや多様体を含む）をモデル化する際でさえ、Radは正確な対数尤度計算と正確なサンプリングを維持している。
• 変分推論やハード-EMなどの近似推論手法を避けることができ、深層混合モデルにおいて完全な tractability（取り扱いやすさ）を実現した。
• 可視化結果から、Radの折りたたみ機構により、全射的ではあるが局所的に可逆な複雑な非双射写像を学習可能であり、構造的データにおける有効な密度推定が可能であることが確認された。