[論文レビュー] Topological Autoencoders

Michael Moor, Max Horn+2 more|arXiv (Cornell University)|Jun 3, 2019

Topological and Geometric Data Analysis参考文献 30被引用数 3

ひとこと要約

本稿では、持続的ホモロジーを用いて、データ空間および潜在空間における連結成分やサイクルなどの位相的構造を保持する、微分可能である新しい損失関数である位相的オートエノード（TopoAE）を紹介する。バックプロパゲーションを位相的特徴にまで拡張することで、TopoAEはMNIST や CIFAR-10 などの合成データおよび実世界のデータセットにおいて、再構成誤差が低く抑えられつつ、位相的整合性が向上した潜在表現を実現し、最先端の性能を達成した。

ABSTRACT

We propose a novel approach for preserving topological structures of the input space in latent representations of autoencoders. Using persistent homology, a technique from topological data analysis, we calculate topological signatures of both the input and latent space to derive a topological loss term. Under weak theoretical assumptions, we construct this loss in a differentiable manner, such that the encoding learns to retain multi-scale connectivity information. We show that our approach is theoretically well-founded and that it exhibits favourable latent representations on a synthetic manifold as well as on real-world image data sets, while preserving low reconstruction errors.

研究の動機と目的

• 位相的計算が通常微分不能であり、バックプロパゲーションと互換性がないため、深層学習に位相的制約を統合する課題に対処すること。
• オートエノードの潜在空間に、連結成分やループなどのマルチスケール接続性特徴を保持する微分可能な位相的損失を開発すること。
• ミニバッチサンプリング下での位相的損失計算の理論的安定性を保証し、信頼性のある最適化を可能にすること。
• 実験的に、位相的保持が再構成精度を損なわず、学習された表現の解釈可能性と品質を向上させることを検証すること。

提案手法

• ビエトリス–リップス複体構築の微分可能な緩和を用いて、持続的ホモロジーを近似することで、微分可能な位相的損失を提案する。
• 行列還元アルゴリズムを用い、離散的位相的特徴の滑らかな近似を通じて、微分可能な方法でホモロジー群および持続的図を計算する。
• 入力空間と潜在空間の持続的図の間の微分可能なボトルネック距離を導出し、位相的損失項として用いる。
• オートエノードの共同最適化目的関数において、標準的な再構成損失（例：MSE）と位相的損失を統合する。
• 理論的保証を伴うミニバッチサンプリングを適用し、位相的特徴の安定性を確保することで、信頼性のある勾配推定を実現する。
• 出生・死のペアのソフトアサインメントを用いた微分可能な持続的図比較により、位相的特徴を介した勾配伝搬を可能にする。

実験結果

リサーチクエスチョン

• RQ1 オートエノードの学習された潜在表現において、連結成分やサイクルといった位相的特徴が微分可能な損失によって保持可能か。
• RQ2 持続的ホモロジー計算を微分可能にすることで、位相的誘導バイアスを備えた深層オートエノードの学習が可能か。
• RQ3 位相的損失の導入が、標準的なオートエノードおよび次元削減ベースラインと比較して、潜在表現の品質と解釈可能性に与える影響は何か。
• RQ4 提案手法は、合成多様体および実画像データを含む多様なデータセットにおいて、再構成誤差を低く保ちながら位相的整合性を向上できるか。

主な発見

• SPHERES、F-MNIST、MNIST、CIFAR-10 すべてのデータセットにおいて、ℓ-Trust および ℓ-Cont メトリクスで測定した位相的整合性が、TopoAE で顕著に向上した。
• SPHERES データセットでは、TopoAE は ℓ-Trust スコア 0.65775 ± 0.01428 を達成し、ヴァナイルオートエノード（0.58843 ± 0.00475）および TopoPCA（0.62260 ± 0.00251）を上回った。
• MNIST では、再構成誤差が低く抑えられ（RMSE: 19.57784 ± 0.01812）、かつ ℓ-Trust スコアが 0.92844 ± 0.00142 に達し、位相的構造の強力な保持を示した。
• CIFAR-10 では、再構成誤差が高めであったが、位相的整合性の観点で、ヴァナイルオートエノード（0.86359 ± 0.00442）および TopoPCA（0.81551 ± 0.00139）を上回る ℓ-Trust（0.84514 ± 0.00359）を達成した。
• 可視化（図 A.7 および A.8）では、TopoAE が、標準的なオートエノード、t-SNE、UMAP、PCA よりも、クラスごとのクラスタリングおよび多様体構造をよりよく保持した、より構造的で解釈可能な潜在空間を生成していることが示された。
• ミニバッチサンプリング下での位相的損失計算の理論的安定性が、信頼性の高い一貫した最適化を保証していることが示された。