[論文レビュー] Latent Space Oddity: on the Curvature of Deep Generative Models

Georgios Arvanitidis, Lars Kai Hansen+1 more|arXiv (Cornell University)|Oct 31, 2017

Generative Adversarial Networks and Image Synthesis被引用数 25

ひとこと要約

本稿では、生成モデルのヤコビ行列から誘導される確率的リーマン多様体としての潜在空間をモデル化することにより、深層生成モデルの幾何的枠組みを提案する。生成モデルの局所的曲率に基づくリーマン計量を用いて距離と補間を再定義することで、クラスタリング、サンプリング、補間の性能が向上し、標準的なVAEが不正確な分散推定を提供することを明らかにした。これに対し、不確実性評価を著しく改善した新たな分散ネットワークアーキテクチャを導入した。

ABSTRACT

Deep generative models provide a systematic way to learn nonlinear data distributions, through a set of latent variables and a nonlinear "generator" function that maps latent points into the input space. The nonlinearity of the generator imply that the latent space gives a distorted view of the input space. Under mild conditions, we show that this distortion can be characterized by a stochastic Riemannian metric, and demonstrate that distances and interpolants are significantly improved under this metric. This in turn improves probability distributions, sampling algorithms and clustering in the latent space. Our geometric analysis further reveals that current generators provide poor variance estimates and we propose a new generator architecture with vastly improved variance estimates. Results are demonstrated on convolutional and fully connected variational autoencoders, but the formalism easily generalize to other deep generative models.

研究の動機と目的

• 深層生成モデルにおける潜在空間の距離の誤解を解消すること。特に、ユークリッド距離では真のデータ多様体構造を反映しないこと。
• 生成モデルのヤコビ行列から導出される計量を用いて、潜在空間を確率的リーマン多様体として形式化すること。
• 標準的なVAEが曲率の線形近似を用いるため、誤った分散推定を生じることを示すこと。
• 不確実性推定をより正確にするために、専用の分散ネットワークを備えた新たな生成モデルアーキテクチャを提案すること。
• リーマン計量に基づく距離と補間が、より良いクラスタリング、滑らかな生成、より安定したランダムウォークを実現することを示すこと。

提案手法

• 生成モデルのヤコビ行列行列から、局所的計量テンソル $ \mathbf{J}_\mathbf{z}^\intercal \mathbf{J}_\mathbf{z} $ を用いて、潜在空間における確率的リーマン計量を導出する。
• リーマン計量を用いて、直線的補間の代わりに長さ最小の曲線（測地線）を計算する。
• リーマン距離を用いて潜在確率分布とサンプリングアルゴリズムを再定式化し、データ多様体構造とより整合性をとる。
• 局所的歪みを明示的にモデル化する $ \boldsymbol{\sigma}_\theta(\mathbf{z}) $ を用いた新たな分散ネットワークを導入し、不確実性推定を改善する。
• リーマン計量を $ k $-means クラスタリングと混合モデルに適用し、真のクラス構造とより良い一致を示す。
• 幾何学的に情報に基づいた潜在空間内のランダムウォークを実装し、ユークリッドウォークと比較して、データ多様体上に長期間留まることを示した。

実験結果

リサーチクエスチョン

• RQ1 生成モデルの非線形性によって誘導される潜在空間の曲率は、距離と補間の解釈にどのように影響を与えるか？
• RQ2 標準的なVAEが不適切な分散推定を生じる理由は何か？幾何学的原則を用いてどのように是正できるか？
• RQ3 生成モデルのヤコビアンから導出されるリーマン計量は、潜在空間におけるクラスタリングとサンプリングを改善できるか？
• RQ4 測地線補間と直線補間は、視覚的品質と多様体への適合性においてどのように比較されるか？
• RQ5 幾何学的に情報に基づいたランダムウォークは、標準的なユークリッドランダムウォークよりも、データ多様体上に長期間留まれるか？

主な発見

• 潜在空間は平坦なユークリッド空間ではなく、生成モデルのヤコビアンから導出される計量に基づく曲がったリーマン多様体である。距離と補間は、この計量を用いて測定するのが最適である。
• リーマン計量に基づく $ k $-means クラスタリングは、ユークリッド基準のクラスタリングよりも真のクラスラベルと著しく良い一致を示し、構造の発見性が向上している。
• 測地線補間は、直線補間と比較して滑らかでより現実的な生成を実現しており、MNISTおよび合成データの可視化で確認された。
• 提案された分散ネットワークアーキテクチャは、標準的なVAEと比較して、局所的歪みに敏感なリーマン計量の特性を反映して、著しく優れた不確実性推定を達成した。
• 幾何学的に情報に基づいたランダムウォークは、標準的なユークリッドランダムウォークよりも、データ多様体上にはるかに長期間留まり、多様体への適合性が優れていることが示された。
• 新規に導入されたリーマン計量により、より正確な確率分布とサンプリングアルゴリズムが可能となり、クラスタリングや生成といった下流タスクにおける性能が向上した。