[論文レビュー] Manifold-Aligned Generative Transport

Xinyu Tian, Xiaotong Shen|arXiv (Cornell University)|Feb 23, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

MAGTは、低次元の基盤から高次元データへの一度の学習で、流れのような生成器を学習し、固定ガウス平滑化レベルで訓練し、潜在アンカーと自己正規化重要度サンプリングスコア推定を用いて、一発 samplingと内在的な多様体密度を提供する、非漸近的生成保証を持つ手法である。高速サンプリングと非漸近的な生成保証を提供する。

ABSTRACT

High-dimensional generative modeling is fundamentally a manifold-learning problem: real data concentrate near a low-dimensional structure embedded in the ambient space. Effective generators must therefore balance support fidelity -- placing probability mass near the data manifold -- with sampling efficiency. Diffusion models often capture near-manifold structure but require many iterative denoising steps and can leak off-support; normalizing flows sample in one pass but are limited by invertibility and dimension preservation. We propose MAGT (Manifold-Aligned Generative Transport), a flow-like generator that learns a one-shot, manifold-aligned transport from a low-dimensional base distribution to the data space. Training is performed at a fixed Gaussian smoothing level, where the score is well-defined and numerically stable. We approximate this fixed-level score using a finite set of latent anchor points with self-normalized importance sampling, yielding a tractable objective. MAGT samples in a single forward pass, concentrates probability near the learned support, and induces an intrinsic density with respect to the manifold volume measure, enabling principled likelihood evaluation for generated samples. We establish finite-sample Wasserstein bounds linking smoothing level and score-approximation accuracy to generative fidelity, and empirically improve fidelity and manifold concentration across synthetic and benchmark datasets while sampling substantially faster than diffusion models.

研究の動機と目的

• データが低次元の多様体の近くにある場合にデータ幾何を尊重した効率的で高忠実な生成の必要性を動機づける。
• 定義済みのガウス平滑化された周囲空間で動作して良く定義された密度とスコアを保証する輸送ベースの生成器を開発する。
• 有限数の潜在アンカーと自己正規化重要度サンプリングを用いた実用的なスコア推定を提供し、エンドツーエンドの訓練を実現する。
• 平滑化レベルとスコア精度を忠実度へ結びつける非漸近的で幾何学を意識した生成保証を確立する。

提案手法

• 固定平滑化レベル t で非可逆輸送 h: R^d -> R^D を訓練し、Y0 = h(U) を U ~ π としてデータ分布 Y0 に一致させる。
• 平滑化されたスコア ∇_{yt} log p_t(yt) を用いてノイズ観測を潜在生成器と結びつけ、事後平均 E[h(U)|yt] を介して関連づける。
• 事後平均を有限個の潜在アンカーと自己正規化重要度サンプリングで近似し、扱いやすい輸送ベースのスコア推定量 s̃_{t,K}(yt; h, π, π̃) を得る。
• ノイズレベル t で推定スコアを真の条件付きスコアと一致させることで単一レベルのデノイジングスコアマッチング目的関数を最適化する。
• 多様体上の固有密度を面積公式で定義し、h が（局所的に）単射であるとき生成サンプルの対数密度を計算可能にし、レベル t での平滑環境尤度のモンテカルロ法を提供する。
• アンカー提案のユーザーオプション（MAGT-MC、MAGT-QMC、MAGT-MAP）を提供し、チューニングパラメータ（t, d, K）の交差検証による選択を実装する。

実験結果

リサーチクエスチョン

• RQ1 前方パスを一度で実行しつつ低次元データ多様体への整合性を保つ生成モデルをどう構築するか。
• RQ2 固定レベルのガウス平滑化は多様体でサポートされるデータに対して良く定義された密度とスコアを与えるか、そして実際にはどう推定するか。
• RQ3 潜在アンカーと自己正規化重要度サンプリングの使用がスコア推定精度と生成忠実度にどのような影響をもたらすか。
• RQ4 固定レベルのスコア精度とWasserstein生成誤差を結ぶ非漸近的保証は何か、どのようにして多様体領域で実証するか。
• RQ5 MAGTの派生型は拡散モデルやフローに基づくモデルと比べて忠実度、サンプリングコスト、尤度へのアクセス性にどう影響するか。

主な発見

• MAGTは、実データセットと合成データの両方で強い多様体整合性と高忠実度を持つ一発サンプリングを達成する。
• MAGTは面積公式を介して内在的多様体密度を提供し、h が局所的に単射である場合には対数密度を閉形式で計算できる。
• 拡散と比較して、MAGTはサンプリングに1回の正順伝播（NFE = 1）しか必要とせず、推論コストを大幅に削減する。
• 経験的結果は、MAGTが拡散ベースのベースラインやGANと比較してWassersteinベースの指標を改善し、多様体外漏れを減少させることを示す。
• 拡散に対しては、MNIST、Superconduct、Genomes などのいくつかのベンチマークで忠実度を維持・向上させ、CIFAR10-0のようなケースでは flow matching が FID で優れる場合もあるが、MAGTは推論時のネットワーク評価を大幅に削減する。
• 理論は固定レベルのスコア誤差とW2生成誤差を結ぶ単一レベルのプルバック不等式を確立し、固定レベルスコアマッチングの有限サンプル過剰リスク界を提供し、多様体の固有次元と幾何に依存する非漸近的生成速度を導く。