[論文レビュー] Canonical normalizing flows for manifold learning

Kyriakos Flouris, Ender Konukoğlu|arXiv (Cornell University)|Oct 19, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、正規化流れの多様体学習における新たな最適化目的関数である正準多様体フロー（CMF）を提案する。この手法は、流れのヤコビ行列から導かれる計量テンソルの非対角成分の ℓ₁-ノルムを最小化することで、潜在空間におけるスパースで非退化し、局所的に直交する内在的基底を強制する。この方法は追加の計算コストを伴わず、生成サンプルの品質と潜在空間の効率性を向上させ、先行手法よりも低いFIDスコアを達成する。

ABSTRACT

Manifold learning flows are a class of generative modelling techniques that assume a low-dimensional manifold description of the data. The embedding of such a manifold into the high-dimensional space of the data is achieved via learnable invertible transformations. Therefore, once the manifold is properly aligned via a reconstruction loss, the probability density is tractable on the manifold and maximum likelihood can be used to optimize the network parameters. Naturally, the lower-dimensional representation of the data requires an injective-mapping. Recent approaches were able to enforce that the density aligns with the modelled manifold, while efficiently calculating the density volume-change term when embedding to the higher-dimensional space. However, unless the injective-mapping is analytically predefined, the learned manifold is not necessarily an efficient representation of the data. Namely, the latent dimensions of such models frequently learn an entangled intrinsic basis, with degenerate information being stored in each dimension. Alternatively, if a locally orthogonal and/or sparse basis is to be learned, here coined canonical intrinsic basis, it can serve in learning a more compact latent space representation. Toward this end, we propose a canonical manifold learning flow method, where a novel optimization objective enforces the transformation matrix to have few prominent and non-degenerate basis functions. We demonstrate that by minimizing the off-diagonal manifold metric elements $\ell_1$-norm, we can achieve such a basis, which is simultaneously sparse and/or orthogonal. Canonical manifold flow yields a more efficient use of the latent space, automatically generating fewer prominent and distinct dimensions to represent data, and a better approximation of target distributions than other manifold flow methods in most experiments we conducted, resulting in lower FID scores.

研究の動機と目的

• 既存の多様体学習フロー（MLF）における潜在空間表現の非効率さと退化を解消する。特に、次元間で情報が重複して保存される問題に焦点を当てる。
• 正準内在基底を促進することで、学習された潜在空間のコンパクト性と解釈可能性を向上させる。同時にスパースかつ局所的に直交する性質を実現する。
• 既存のヤコビ行列計算を再利用する最適化目的関数を導入することで、追加の計算オーバーヘッドを回避する。
• より構造的な潜在基底が、より優れた生成性能とターゲットデータ分布の近似をもたらすことを実証する。
• 理論的裏付けが強く、計算効率が高く、正確な尤度計算を維持しながら多様体フローのモデリングを向上させる手法を提供する。

提案手法

• 本手法は、流れのヤコビ行列から導出されるリーマン計量テンソルの非対角成分の ℓ₁-ノルムを最小化する新たな損失項を導入する。
• この損失は、潜在空間における接ベクトルがスパースかつ近似的に直交するよう促進し、厳密な直交性を強制しない正準基底の学習を可能にする。
• 最適化は、多様体学習フローの標準的な尤度最大化目的関数に統合され、変数変換の公式から得られるヤコビ行列計算を再利用する。
• 本手法はRNFやMFlowなどの既存のMLFフレームワークと互換性があり、合成データおよび画像データの両方へ適用可能である。
• 追加の可逆性制約やアーキテクチャの変更を必要としないため、軽量かつ即時適用可能なプラグアンドプレイな性質を有する。
• 正準基底は最適化から自然に出現するため、潜在次元におけるより良い分離性と退化の低減が実現される。

(a) Density plot for a fuzzy line learned with RNF, via Equation 4 .

実験結果

リサーチクエスチョン

• RQ1 潜在空間における非対角計量成分の最小化は、多様体学習フローにおけるよりコンパクトで非退化した表現をもたらすか？
• RQ2 学習基底にスパーシティと局所的直交性を強制することで、サンプル品質と尤度近似が向上するか？
• RQ3 追加の計算コストやアーキテクチャの複雑さを導入せずに、この効果を達成できるか？
• RQ4 FIDスコアと潜在空間の分離性という観点から、本手法の得られた正準基底は、標準的なMLF手法と比較してどのように異なるか？
• RQ5 本手法は、合成データおよび画像データを含むさまざまなデータタイプに一般化できるか？

主な発見

• 提案手法であるCMFは、複数の実験においてベースラインの多様体学習フローを上回る低いFréchet Inception Distance（FID）スコアを達成し、生成サンプルの品質向上を示している。
• 学習された潜在表現は、データ多様体を効率的に捉えるために、顕著で明確な次元が少ないほどに退化が低減している。
• 非対角計量成分の ℓ₁-ノルム最小化は、厳密な直交性を強制しないまま、内在基底におけるスパーシティと局所的直交性を効果的に促進した。
• 正確な尤度計算を維持しており、近似に依存せず、正規化流れの数学的厳密性を保ったままである。
• 本手法は、データ要因のより良い分離性を実現でき、異常検知などの下流タスクにおいて有益である可能性を示している。
• 計算効率が高く、合成データおよび画像データの両方の実験で示されるように、既存のMLFフレームワークへの適用が最小限の変更で可能である。

(b) Density plot for a fuzzy line learned with CMF, via Equation 8 .