[論文レビュー] Geodesic Clustering in Deep Generative Models

Tao Yang, Georgios Arvanitidis+3 more|arXiv (Cornell University)|Sep 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 7被引用数 12

ひとこと要約

この論文は、深層生成モデルの潜在空間における測地線距離を計算するための効率的なアルゴリズムを提案する。標準的なユークリッド距離の歪みを補正するために、リーマン幾何学を活用する。変分オートエンコーダーにおける不確実性をモデル化し、測地線距離を用いることで、再訓練を伴わず、MNIST、Fashion-MNIST、EMNIST-letter データセットにおいて、k-medoids などの単純なクラスタリング手法が最先端の性能を達成する。

ABSTRACT

Deep generative models are tremendously successful in learning low-dimensional latent representations that well-describe the data. These representations, however, tend to much distort relationships between points, i.e. pairwise distances tend to not reflect semantic similarities well. This renders unsupervised tasks, such as clustering, difficult when working with the latent representations. We demonstrate that taking the geometry of the generative model into account is sufficient to make simple clustering algorithms work well over latent representations. Leaning on the recent finding that deep generative models constitute stochastically immersed Riemannian manifolds, we propose an efficient algorithm for computing geodesics (shortest paths) and computing distances in the latent space, while taking its distortion into account. We further propose a new architecture for modeling uncertainty in variational autoencoders, which is essential for understanding the geometry of deep generative models. Experiments show that the geodesic distance is very likely to reflect the internal structure of the data.

研究の動機と目的

• 深層生成モデルの潜在空間における真の意味的関係を捉えることができない標準的なユークリッド距離の限界を解消すること。
• 深層生成モデルが誘導するリーマン多様体上での測地線（最短経路）を効率的かつ微分可能に計算する手法を開発すること。
• クラスタリング目的のための再訓練を伴わず、潜在空間におけるクラスタリング性能を向上させること。
• 測地線計算に適した、新たな不確実性を考慮した変分オートエンコーダーのアーキテクチャを導入すること。
• 潜在空間において、測地線距離がユークリッド距離よりも、データの内在的構造をよりよく反映することを示すこと。

提案手法

• 深層生成モデルの潜在空間を、学習されたリーマン計量を用いて確率的埋め込み多様体としてモデル化する。
• 測地線距離の計算を変分最適化問題として定式化し、測地線経路に沿った逆誤差伝搬を可能にする。
• 潜在分布の分散を別個のネットワークヘッドで明示的にモデル化する新しいVAEアーキテクチャを提案し、不確実性推定を向上させる。
• PyTorch/TensorFlow風のフレームワークと互換性があり、微分可能な数値積分スキームを用いて測地線距離を計算する。
• 局所的な多様体の歪みを反映するために、体積測度（ヤコビアン行列式）を距離に重み付けする。
• k-medoids を用いたクラスタリングを測地線距離で実行し、モデル固有のクラスタリング目的に依存しないようにする。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルのリーマン多様体上での測地線距離は、ユークリッド距離よりも意味的類似性をよりよく反映できるか？
• RQ2 VAEにおける不確実性モデリングを組み込むことで、測地線距離推定の正確性と頑健性が向上するか？
• RQ3 測地線距離をユークリッド距離の代わりに用いることで、k-medoids などの単純なクラスタリング手法が、潜在空間で最先端の性能を達成できるか？
• RQ4 MNIST、Fashion-MNIST、EMNIST-letter のような標準ベンチマークデータセットにおいて、提案手法は既存のクラスタリングベースラインと比較してどうなるか？
• RQ5 潜在空間の多様体構造は、データの内在的クラスタ構造をどの程度保っているか？

主な発見

• MNIST データセットでは、測地線距離を用いた k-medoids クラスタリングが 2 クラスおよび 3 クラス分類でそれぞれ 100% の正確度を達成し、ユークリッド距離（93% および 80%）を顕著に上回った。
• Fashion-MNIST データセットでは、測地線ベースの k-medoids が 2 クラス分類（Tシャツ 対 スニーカー）で 100% の正確度を達成したのに対し、ユークリッド距離では 98% であった。
• 3 クラス Fashion-MNIST 分類（Tシャツ、スニーカー、バッグ）においても、測地線 k-medoids は 100% の正確度を達成したが、ユークリッド距離ではわずか 93% にとどまった。
• EMNIST-letter データセットでは、測地線 k-medoids が 'D' と 'd' を区別するタスクで 100% の正確度を達成したのに対し、ユークリッド距離では 76% であった。
• 測地線距離は、すべてのデータセットおよびクラスタリングタスクにおいて一貫してユークリッド距離を上回り、データの内在的構造を保存する能力を示した。
• 提案された不確実性を考慮したVAEアーキテクチャにより、特に多様体の曲率が高い領域において、より正確な測地線経路推定が可能になった。