[論文レビュー] Chart Auto-Encoders for Manifold Structured Data

Stefan C. Schonsheck, Jie Chen+1 more|arXiv (Cornell University)|Dec 20, 2019

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 8

ひとこと要約

本稿では、微分幾何学にインspiredされたマルチチャート潜在空間を用いる深層生成モデル、Chart Auto-Encoders (CAE) を提案する。CAE は、重複する局所的チャートと遷移関数を用いてデータ多様体をモデル化することで、近接性や多様体の忠実性といったトポロジー的・幾何的性質を保持する。合成データおよび実データの両方において、再構成性能、潜在空間内の近接性、忠実な生成性能において、標準的なオートエンコーダーやVAEを上回る。

ABSTRACT

Deep generative models have made tremendous advances in image and signal representation learning and generation. These models employ the full Euclidean space or a bounded subset as the latent space, whose flat geometry, however, is often too simplistic to meaningfully reflect the manifold structure of the data. In this work, we advocate the use of a multi-chart latent space for better data representation. Inspired by differential geometry, we propose a extbf{Chart Auto-Encoder (CAE)} and prove a universal approximation theorem on its representation capability. We show that the training data size and the network size scale exponentially in approximation error with an exponent depending on the intrinsic dimension of the data manifold. CAE admits desirable manifold properties that auto-encoders with a flat latent space fail to obey, predominantly proximity of data. We conduct extensive experimentation with synthetic and real-life examples to demonstrate that CAE provides reconstruction with high fidelity, preserves proximity in the latent space, and generates new data remaining near the manifold. These experiments show that CAE is advantageous over existing auto-encoders and variants by preserving the topology of the data manifold as well as its geometry.

研究の動機と目的

• 平坦なユークリッド潜在空間を用いるオートエンコーダーの限界を解消する。これは、データ多様体の内在的トポロジーと幾何学的性質を保持できないためである。
• 二重トーラスのような複雑で非可縮な多様体を忠実に表現できる深層生成モデルを開発すること。標準的なオートエンコーダーは形状とトポロジーを歪めてしまう。
• オートエンコーダーによるデータ多様体への近似を形式化・定量化するための、$b5$-忠実な表現基準を導入し、幾何的誤差とトポロジカル誤差を区別する。
• CAEのための普遍近似定理を証明し、近似誤差と内在的多様体次元に応じて、トレーニングデータサイズとネットワーク幅の理論的上限を確立する。
• CAEが高精度な再構成を可能とし、潜在空間における近接性を保持し、学習データにカバーされていない領域であっても多様体上に留まる新しいデータを生成できることを示すこと。これは、標準的なVAEやオートエンコーダーとは対照的である。

提案手法

• CAE は、データ多様体が重複する局所的パラメータ化（チャート）で覆われるマルチチャート潜在空間を採用する。各チャートは別個のエンコーダ-デコーダペアによってマッピングされる。
• 各データポイントは、学習されたチャート予測ネットワークによりチャートに割り当てられる。このネットワークはソフトマックス層を用いて N 個のチャートに対する確率分布を出力する。
• 重なり領域におけるチャート間の遷移関数を用いることで、チャート境界を越えて潜在表現の一貫性を保証する。
• アーキテクチャは、入力データを共有潜在空間にマップする初期エンコーダーから始まり、その後にチャート固有のエンコーダーとデコーダーが続き、最終的なデコーダーがチャート固有の潜在コードからデータを再構成する。
• 損失関数は再構成損失と正則化項の組み合わせであり、幾何的忠実性を維持し、多様体上での近接する点が潜在空間でも近接したままになるように保証する。
• 理論的分析により、トレーニングデータサイズとネットワーク幅が近似誤差に関して指数関数的にスケーリングすることを示し、その指数はデータ多様体の内在次元に依存する。

実験結果

リサーチクエスチョン

• RQ1 マルチチャート潜在空間を備えた深層生成モデルは、平坦な潜在空間を用いる標準的なオートエンコーダーと比較して、多様体構造データのトポロジー的・幾何的構造をより良く保持できるか？
• RQ2 多様体構造データにおけるCAEにおいて、近似誤差、トレーニングデータサイズ、ネットワーク幅の理論的スケーリング関係は何か？
• RQ3 CAEにおける重なり領域を持つチャートと遷移関数の使用は、幾何的外れや非連結部品といった生成データの幾何的・トポロジカル誤差を防止できるか？
• RQ4 CAEは、潜在空間における近接するデータポイント間の近接性を、標準的なVAEやオートエンコーダーと比較してより良く保持できるか？
• RQ5 CAEは、学習データにカバーされていない領域であっても、生成された新しいデータサンプルを多様体上に維持できるか？

主な発見

• CAE は、標準的なオートエンコーダーやVAEと比較して顕著に低い再構成誤差を達成し、二重トーラスデータセットではテスト損失が 0.010 ± 0.001 まで低下した。
• モデルは潜在空間における近接性を保持している。多様体上での近接する点は、潜在空間でも近接したままであり、平坦な潜在空間モデルが示す歪みを回避している。
• CAE からの生成サンプルはすべて多様体上に位置しており、幾何的外れは一切ない。これは、VAE や標準的なオートエンコーダーが多様体外のサンプルを生成するのとは対照的である。
• CAE は二重トーラスのトポロジー（二つの穴）を正しく捉えており、穴の数と全体的な構造を維持している。一方、標準モデルはこのトポロジカル特徴を保持できていない。
• 理論的分析により、CAE の表現能力が近似誤差に関して指数関数的にスケーリングすることが確認され、その指数はデータ多様体の内在次元に依存する。
• MNIST データセットでは、CAE はテスト損失 0.0189 ± 0.001 および分類精度 97% ± 0.01 を達成し、再構成性能および下流タスクの両面でベースラインモデルを上回った。