[論文レビュー] Latent Traversals in Generative Models as Potential Flows

Song Yue, Andy Keller+2 more|arXiv (Cornell University)|Apr 25, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、生成モデルにおける潜在的遷移を、学習された時変・空間変動型偏微分方程式（PDE）に基づくポテンシャルランドスケープ上の勾配降下としてモデル化する手法を提案する。非線形性や可塑性に優れた線形的またはRBFベースのベースラインと比較して、より意味的に分離可能で柔軟かつ一貫性のある軌道を達成する。また、学習中に誘導的バイアスとして統合することで尤度性能が向上する。

ABSTRACT

Despite the significant recent progress in deep generative models, the underlying structure of their latent spaces is still poorly understood, thereby making the task of performing semantically meaningful latent traversals an open research challenge. Most prior work has aimed to solve this challenge by modeling latent structures linearly, and finding corresponding linear directions which result in `disentangled' generations. In this work, we instead propose to model latent structures with a learned dynamic potential landscape, thereby performing latent traversals as the flow of samples down the landscape's gradient. Inspired by physics, optimal transport, and neuroscience, these potential landscapes are learned as physically realistic partial differential equations, thereby allowing them to flexibly vary over both space and time. To achieve disentanglement, multiple potentials are learned simultaneously, and are constrained by a classifier to be distinct and semantically self-consistent. Experimentally, we demonstrate that our method achieves both more qualitatively and quantitatively disentangled trajectories than state-of-the-art baselines. Further, we demonstrate that our method can be integrated as a regularization term during training, thereby acting as an inductive bias towards the learning of structured representations, ultimately improving model likelihood on similarly structured data.

研究の動機と目的

• 事前学習済み生成モデルにおける意味的に明確で分離可能な潜在的遷移を学ぶという未解決の課題に取り組む。
• 線形的または固定形状のRBFベースの遷移の限界を克服するため、柔軟で時変・空間変動型のポテンシャルランドスケープを用いて潜在的ダイナミクスをモデル化する。
• 学習されたポテンシャルフローを訓練中に正則化項として統合し、尤度性能の向上と構造的誘導的バイアスの導入を図る。
• 物理的に妥当なPDEが、多様なデータ多様体上でも多様で明確で意味的に一貫性のある遷移経路をモデル化できることを示す。

提案手法

• 流体力学や最適輸送理論にインspiredされた、時変・空間変動型PDEで定義される学習済みスカラー・ポテンシャル場の勾配フローとして潜在的遷移をモデル化する。
• 分離性を保証する分類器を制約として用い、同時に複数の明確で意味的に一貫性のあるポテンシャル関数を学習する。
• PDE制約を近似的に満たすために物理的制約を組み込んだニューラルネットワーク（PINNs）を用いてポテンシャル場を表現し、柔軟で動的なランドスケープを実現する。
• 時間経過に伴いポテンシャル場の勾配に沿って潜在コードを進化させ、滑らかで非線形な遷移経路を生成する。
• VAE訓練中にポテンシャルフロー損失を正則化項として統合し、潜在空間の構造を整え、尤度性能を向上させる。
• サンプルの進化を速度場 ∇z u(z,t) でモデル化し、特定の条件下では熱方程式やFokker-Planck方程式といった有名なPDEに一致する可能性を有する。

実験結果

リサーチクエスチョン

• RQ1 物理的に現実的なPDEベースのポテンシャルランドスケープは、線形的またはRBFベースの手法と比較して、より柔軟で分離可能な潜在的遷移をモデル化できるか？
• RQ2 時変・空間変動型ポテンシャル場は、多様なサンプル間で潜在的遷移の意味的整合性と明確性をどのように向上させるか？
• RQ3 学習されたポテンシャルフローは、構造的データ生成において尤度性能や一般化性能の向上にどの程度誘導的バイアスとして機能するか？
• RQ4 学習された速度場からどのような有名なPDEが出現するのか？また、それらは元のデータ多様体のダイナミクスとどのように関係しているか？

主な発見

• 提案手法は、事前学習済みのGANおよびVAEにおいて、最先端の線形的・RBFベースのベースラインと比較して、定性的にも定量的にもより分離可能な軌道を達成した。
• 同じ遷移パス（例：「ズームイン」や「髪の長さ」）に対して、異なるサンプル間で一貫した意味的属性を明確に生成し、類似したPDEパス形状を示した。
• VAE訓練中に正則化項として統合した結果、同様の構造を持つデータに対して尤度性能が向上し、誘導的バイアスとしての有効性が示された。
• フレームワークは、線形から周期的波まで多様な遷移経路をモデル化でき、エンドポイント付近での変動が最小限に抑えられており、ロバスト性とデータ多様体への適合性を示した。
• 潜在空間ダイナミクスが、特定の速度場条件のもとで、熱方程式やFokker-Planck方程式といった有名なPDEの解として解釈可能であることが明らかになった。
• 線形遷移手法は、ポテンシャル場が空間的・時間的に線形である場合に、本手法の特別なケースとして示された。