[論文レビュー] Autoencoding topology

Eric O. Korman|arXiv (Cornell University)|Mar 1, 2018

Topological and Geometric Data Analysis参考文献 5被引用数 7

ひとこと要約

本稿では、敵対的自動エンコーダーを用い、 Wasserstein GANに基づく損失関数を採用することで、データの多様体のトポロジーを学習する深層学習フレームワークを提案する。この手法は、同時に次元削減とファジークラスタリングを実行し、重なり合うチャートのČech nerveを用いてホモロジーなどのトポロジカルインバリアントを回復可能である。実験では、合成多様体およびMNISTデータに対して、線形および非線形エンコーダーを用いて検証された。

ABSTRACT

The problem of learning a manifold structure on a dataset is framed in terms of a generative model, to which we use ideas behind autoencoders (namely adversarial/Wasserstein autoencoders) to fit deep neural networks. From a machine learning perspective, the resulting structure, an atlas of a manifold, may be viewed as a combination of dimensionality reduction and "fuzzy" clustering.

研究の動機と目的

• i.i.d.標本から多様体のアトラスを学習する深層学習手法の開発。アトラスを生成モデルとして扱う。
• 重なり合うチャートからČech nerveを構築することで、データからのトポロジカル推論を可能にし、アトラスが良い被覆を形成する場合、ホモトピー型を回復可能にする。
• 確率的エンコーダーとデコーダーを用いて、1つの微分可能なフレームワーク内で次元削減（1つのチャート）とクラスタリング（重ならないチャート）を統合する。
• データ再構築と合成データ生成の両方をサポートする、安定で微分可能な教師なし表現学習手法の提供。

提案手法

• 多様体を潜在空間 Z×{1,…,k} 上の生成モデルとしてモデル化し、潜在変数に一様事前分布を適用する。ここで k はチャートの数を表す。
• データ分布とデコーダーが生成する分布との間の2-ウォッシャースタイン距離を最小化するため、Wasserstein GANに基づくペナルティを用いた敵対的自動エンコーダー（AAE）を採用する。
• エンコーダー q(Z|J,X) およびチャート所属ネットワーク q(J|X) を訓練し、各データポイントをチャートとその潜在表現に割り当てる。逆写像 ψj を学習することで決定的推論を実現する。
• チャート間の重なりは、事後分布間のジェンセン・ショーンハイマー距離および期待事後確率に基づく重なり指標 u_j0j1 を用いて定量化する。
• 重なりスコア u_j0…jℓ を閾値 ε でしきい値処理することでČech nerveを構築し、ε を変化させた際の単体的複体のホモロジーを解析する。これは恒常的ホモロジーに類似した手法である。
• 可視化および解析のため、各チャートのデコーダーから画像を生成し、重なり度合いに比例した太さのエッジで重なっているチャート同士を結ぶ。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、生成モデルとしての枠組みを用いることで、i.i.d.標本から多様体のアトラスを学習できるか？
• RQ2 推定されたアトラスを用いてČech nerve構築により、多様体のトポロジー構造（特にホモトピー型）はどの程度回復可能か？
• RQ3 線形エンコーダーと非線形エンコーダーの選択が、良好なトポロジカル近似を得るために必要なチャート数に与える影響は何か？
• RQ4 提案手法は、微分可能で生成可能なフレームワーク内で、同時に次元削減とファジークラスタリングを実行できるか？
• RQ5 重なりしきい値 ε やチャート重なり推定手法の変化に対して、トポロジカル推論（例：ホモロジー回復）はどの程度頑健か？

主な発見

• 実射影平面 ℝP² を ℝ⁴ に埋め込んだ場合、本手法は H₁(ℝP²; ℤ) ≅ ℤ/2 を正しく回復した。ε の値にかかわらず理論的期待と一致するホモロジー構造を示した。
• MNISTでは、非線形エンコーダーを用いた場合15のチャートで良好な再構築および生成品質が達成されたが、線形エンコーダーでは40〜120のチャートが必要であった。非線形性がトポロジカル効率を向上させることを示唆している。
• 重なりスコア u_j0j1 を用いたČech nerve構築により、トポロジカル特徴が的確に捉えられた。logε = -5 の場合、1次スケルトンでは H₁ ≅ ℤ/2（青）および H₁ ≅ ℤ^factor（赤）が観察され、元の空間のトポロジーと整合的であった。
• 期待事後確率に基づく重なり指標 u_j0j1 は、チャートの交差を安定的に微分可能な代理指標として提供し、単体的複体の安定な構築を可能にした。
• 1次スケルトンの可視化から、意味のあるチャート重なりパターンが明らかになった。太さの大きいエッジは高い重なり度を示しており、各チャートのデコーダーから生成された画像は一貫性があり、解釈可能であった。
• 本フレームワークは再構築と生成の両方をサポートする。図5および6に示すように、再構築は正確であり、特に非線形エンコーダーを用いた場合、潜在変数からのサンプリングによる生成画像も現実的であった。