[論文レビュー] The Riemannian Geometry of Deep Generative Models

Hang Shao, Abhishek Kumar+1 more|arXiv (Cornell University)|Nov 21, 2017

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 16

ひとこと要約

本稿では、特にVAEにおける深層生成モデルが学習する非線形多様体を分析するためのリーマン幾何学的ツール—測地線の計算と平行移動—を導入する。これらの多様体は顕著に低い曲率を示しており、これは潜在空間における線形補間が測地線をよく近似し、視覚的に妥当な画像補間をもたらすことを説明している。

ABSTRACT

Deep generative models learn a mapping from a low dimensional latent space to a high-dimensional data space. Under certain regularity conditions, these models parameterize nonlinear manifolds in the data space. In this paper, we investigate the Riemannian geometry of these generated manifolds. First, we develop efficient algorithms for computing geodesic curves, which provide an intrinsic notion of distance between points on the manifold. Second, we develop an algorithm for parallel translation of a tangent vector along a path on the manifold. We show how parallel translation can be used to generate analogies, i.e., to transport a change in one data point into a semantically similar change of another data point. Our experiments on real image data show that the manifolds learned by deep generative models, while nonlinear, are surprisingly close to zero curvature. The practical implication is that linear paths in the latent space closely approximate geodesics on the generated manifold. However, further investigation into this phenomenon is warranted, to identify if there are other architectures or datasets where curvature plays a more prominent role. We believe that exploring the Riemannian geometry of deep generative models, using the tools developed in this paper, will be an important step in understanding the high-dimensional, nonlinear spaces these models learn.

研究の動機と目的

• 深層生成モデルが生成する多様体のリーマン幾何学的性質、特に曲率と内挿的距離尺度の観点から調査すること。
• これらの多様体上で測地線パスと平行移動を効率的に計算するためのアルゴリズムを開発すること。
• 潜在空間における線形パスが測地線をどの程度近似するかを評価し、生成モデルの解釈可能性と補間品質に与える影響を理解すること。
• CelebA や SVHN などの実画像データセットを用いて、類似性と距離保存性の分析を通じて、これらのツールの有効性を示すこと。
• 生成された多様体の曲率がアーキテクチャやデータセットによって変化するかを評価し、その影響が下流の生成性能に及ぼすかを検討すること。

提案手法

• 2階微分や行列逆行列の計算を必要としない、生成された多様体上での離散化測地線曲線を計算する数値的アルゴリズムを提案する。
• 接ベクトルを測地線パスに沿って平行移動する手法を考案し、接性を保つ接続に基づく定式化を用いる。
• 初期点と速度ベクトルから測地線を生成する「測地線シューティング法」を用い、制御された補間および類似性タスクを可能にする。
• 測地線距離行列と線形距離行列を用いた多段階的尺度縮小（MDS）を実施し、距離行列の固有値解析を通じて曲率を評価する。
• 平行移動により、元の変化の接ベクトルを第3の点に移動させ、同じ長さの測地線をシューティングすることで測地線類似性を計算する。
• R²スコアや画像補間・類似性の可視化による定量的指標を用いて、結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 VAEが生成する多様体上での測地線パスと潜在空間における線形パスは、視覚的妥当性と内挿的距離の観点でどの程度類似しているか？
• RQ2 生成された多様体のリーマン曲率は、データ空間における補間や類似性の品質にどの程度影響を及ぼすか？
• RQ3 多様体の内挿的幾何学から導かれる測地線距離尺度は、効率的に計算可能であり、生成モデルの分析を向上させることができるか？
• RQ4 MDS距離行列の固有値は生成された多様体の曲率をどの程度反映しており、これは多様体がユークリッド空間に等長埋め込み可能であることを示唆するか？
• RQ5 接ベクトルの平行移動は、データポイント間の意味のある類似性をどのように可能にし、潜在空間における線形類似性と比較してどの程度優れているか？

主な発見

• CelebA および SVHN データセットの測地線距離行列において、わずかな負の固有値しか認められず、生成された多様体が非常に低い曲率、すなわちゼロに近い曲率を示していることが判明した。
• 測地線距離を用いたMDS埋め込みにより、多様体がユークリッド空間にほぼ等長埋め込み可能であることが明らかになったが、わずかな歪みが曲率に起因する。
• 測地線距離行列と線形距離行列のR²スコアはそれぞれCelebAで0.778、SVHNで0.902と高く、潜在空間の線形パスと内挿的測地線の間で強い一致が確認された。
• 潜在空間における線形類似性は、平行移動を用いた測地線類似性と視覚的に類似した結果をもたらしたため、潜在空間の線形パスが内挿的幾何的変化の有効な代理であることが示唆された。
• 低曲率であるにもかかわらず、潜在空間と測地線距離の間にわずかな差が残っており、これは曲率が特定の生成タスクや下流タスクにおいて微妙な役割を果たしている可能性を示唆している。
• これらの結果から、VAEにおける潜在空間補間の成功は、生成された多様体のほぼユークリッド的幾何学的性質に起因している可能性が示された。