[論文レビュー] Dimensionality Reduction Flows

H. Das, Pieter Abbeel+1 more|arXiv (Cornell University)|Aug 5, 2019

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 7

ひとこと要約

本稿では、マルチスケールアーキテクチャにおける次元のデータに依存する因子分解と、低次元の潜在的事前分布を学習することで、正規化フロー・モデルの次元削減を提案する。この手法により、潜在空間のサイズを小さくしつつ正確な尤度推定を維持することで、画像ベンチマークで尤度スコアが向上し、固定事前分布や固定因子分解アプローチを上回る。

ABSTRACT

Deep generative modelling using flows has gained popularity owing to the tractable exact log-likelihood estimation with efficient training and synthesis process. Trained flow models carry rich information about the structure and local variance in input data. However, a bottleneck for flow models to scale with increasing dimensions is that the latent space has same size as the high-dimensional input space. In this paper, we propose methods to reduce the latent space dimension of flow models. Our first approach includes replacing standard high dimensional prior with a learned prior from a low dimensional noise space. Further improving to achieve exact log-likelihood with reduced dimensionality, our second approach presents an improved multi-scale architecture (Dinh et al., 2016) via likelihood contribution based factorization of dimensions. Using our method over state-of-the-art flow models, we demonstrate improvements in log-likelihood score on standard image benchmarks. Our work ventures a data dependent factorization scheme which is more efficient than static counterparts in prior works.

研究の動機と目的

• 入力次元と一致する高次元の潜在空間が原因で生じる正規化フローのスケーラビリティのボトルネックを解消すること。
• 正確な尤度推定を損なわずに、潜在空間の次元を低減すること。
• 静的で事前に定義された次元分割よりも効率的な、データに依存する次元因子分解方式を開発すること。
• 低次元の潜在表現を用いて、標準的な画像ベンチマークにおけるサンプル品質と尤度スコアを向上させること。
• ノイズ空間から低次元事前分布を学習することで、フローベースの生成モデルにおけるより効率的な学習と推論を可能にすること。

提案手法

• 標準的な高次元の等方的ガウス事前分布を、低次元のノイズ空間から写像された学習済み事前分布に置き換える。
• 尤度寄与度に基づいて、マルチスケールフローアーキテクチャにおける次元のデータに依存する因子分解を導入する。
• 各次元の尤度寄与度を用いて、潜在空間への含め方を決定することで、動的かつデータに適応した圧縮を可能にする。
• 次元削減にもかかわらずヤコビアン行列式の計算が容易であることを保証することで、正確な尤度計算を維持する。
• 学習済み事前分布と因子分解方式を同時に最適化する形で、標準的なフローの目的関数に従ってエンドツーエンドでモデルを学習する。
• Glow や RealNVP などの最先端フローモデルにこの手法を適用し、画像ベンチマークで性能向上を示している。

実験結果

リサーチクエスチョン

• RQ1 学習済み低次元事前分布を用いることで、潜在空間の次元を低減しつつ、正規化フローにおける尤度スコア性能が向上するか？
• RQ2 マルチスケールフローにおいて、データに依存する次元因子分解は、静的で事前に定義された次元分割よりも優れた尤度スコアをもたらすか？
• RQ3 フローモデルにおいて、正確な尤度推定を損なわず、潜在空間の次元削減を達成できるか？
• RQ4 本手法は、画像ベンチマークにおけるサンプル品質と尤度スコアの観点から、標準的なフローモデルと比較してどのように異なるか？
• RQ5 データに依存する因子分解方式は、高次元データの意味のある構造をどれほど適応的に捉えられるか？

主な発見

• 提案手法は、CIFAR-10 や CIFAR-100 といった標準的な画像ベンチマークにおいて、ベースラインのフローモデルと比較してより高い尤度スコアを達成した。
• 学習済み低次元事前分布により、潜在空間におけるパラメータ数と計算コストが削減され、より効率的なモデリングが可能になった。
• データに依存する因子分解は、マルチスケールフローにおける静的で事前に定義された次元分割よりも優れた尤度性能を示した。
• 次元削減にもかかわらず、正確な尤度推定が維持されており、フローモデルの主な利点が保たれた。
• 学習済み事前分布と適応的因子分解の組み合わせにより、高次元データのより効率的かつ効果的なモデリングが可能になった。
• 本手法はスケーラビリティの向上を示し、尤度精度を損なわず、高次元データに対してより実用的なフローモデルを実現した。