[論文レビュー] Uniform Interpolation Constrained Geodesic Learning on Data Manifold

Cong Geng, Jia Wang+4 more|arXiv (Cornell University)|Feb 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 4

ひとこと要約

本稿では、データ多様体上での一定速度および測地線制約を強制することで、一様で高品質なデータサンプル間の補間を生成する測地線学習手法を提案する。自己符号化器による幾何的正則化とリーマン計量に基づく損失を有する補間ネットワークを用いることで、データ分布内に留まり、滑らかで現実的な遷移を実現する。MNISTおよびFashion-MNISTにおいて、線形補間よりも経路長および視覚的品質で優れている。

ABSTRACT

In this paper, we propose a method to learn a minimizing geodesic within a data manifold. Along the learned geodesic, our method can generate high-quality interpolations between two given data samples. Specifically, we use an autoencoder network to map data samples into latent space and perform interpolation via an interpolation network. We add prior geometric information to regularize our autoencoder for the convexity of representations so that for any given interpolation approach, the generated interpolations remain within the distribution of the data manifold. Before the learning of a geodesic, a proper Riemannianmetric should be defined. Therefore, we induce a Riemannian metric by the canonical metric in the Euclidean space which the data manifold is isometrically immersed in. Based on this defined Riemannian metric, we introduce a constant speed loss and a minimizing geodesic loss to regularize the interpolation network to generate uniform interpolation along the learned geodesic on the manifold. We provide a theoretical analysis of our model and use image translation as an example to demonstrate the effectiveness of our method.

研究の動機と目的

• データ多様体上での最小測地線を学習し、データサンプル間の滑らかで現実的な補間を保証すること。
• スイスロールやS字カーブのような曲がった多様体をモデル化する際、自己符号化器における非凸な潜在表現の限界を解消すること。
• 弧長パrameterizationを用いて測地線をパラメータ化することで、均一な補間を実現すること。
• 従来のグラフベースや潜在空間のみのアプローチとは異なり、リーマン幾何と整合する数学的に厳密な測地線定義を提供すること。
• 自己符号化器による多様体学習と、補間ネットワークにおけるリーマン計量制約を組み合わせることで、補間品質を向上させること。

提案手法

• 自己符号化器に事前幾何情報を取り入れて訓練することで、凸な潜在表現を促進し、補間点がデータ多様体内に留まるように保証する。
• データ多様体上のリーマン計量を、ユークリッド空間への等長埋め込みを介して誘導し、潜在空間における幾何的制約を可能にする。
• 補間曲線を弧長でパラメータ化することで、一定速度の損失を導入し、測地線に沿った均一な進行を保証する。
• 最小測地線損失を導入することで、補間経路が多様体上で最短経路に従うように制約し、リーマン幾何と整合させる。
• 自己符号化器と補間ネットワークを統合したモデルを構築し、両方の損失を共同最適化することで、高品質で均一な補間を生成する。
• 高次元画像データを潜在空間に埋め込むために、変分自己符号化器（VAE）および敵対的自己符号化器（AAE）を用いる。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングフレームワークは、リーマン幾何と整合するデータ多様体上での最小測地線を学習できるか？
• RQ2 一定速度を持つパラメータ化された曲線を用いて、測地線経路に沿った均一な補間をどのように達成できるか？
• RQ3 自己符号化器の幾何的正則化は、曲がった多様体上でも凸な潜在表現を保証できるか？
• RQ4 提案手法は、画像データにおいて線形補間よりもより現実的で滑らかな補間を生成できるか？
• RQ5 最小化経路長と分散の観点から、測地線経路長は線形補間と比べてどの程度短いか？

主な発見

• 3次元の曲がった多様体上での提案手法は、真の測地線長1.0776に最も近い1.1028の測地線経路長を達成し、測地線近似の高精度を示している。
• MNISTおよびFashion-MNISTにおいて、測地線補間経路は線形補間と比較して平均経路長が著しく短く、分散も低いことが確認され、最小化性が裏付けられた。
• 視覚的結果から、測地線補間は、線形補間で見られるゴースト化のようなアーティファクトを避けて、より現実的で意味論的に意味のある画像遷移を生成していることが示された。
• 測地線補間の速度曲線は滑らかで一貫しており、線形補間とは異なり、不規則な速度変動を示さない。これは、一定速度損失の有効性を裏付けている。
• アブレーションスタディの結果、一定速度損失と最小測地線損失の両方を組み合わせた場合が最良の性能を示し、最短経路かつ最も均一な補間が達成された。
• 複雑で曲がった多様体でさえも、本手法は補間点をデータ多様体の分布内に維持し、分布外のサンプルを生成しない。