[論文レビュー] Only Bayes should learn a manifold (on the estimation of differential geometric structure from data)

Søren Hauberg|arXiv (Cornell University)|Jun 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 15

ひとこと要約

この論文は、高次元データからデータ多様体の真のリーマン幾何構造を信頼性高く回復できるのは、確率的（ベイズ的）手法に限ると主張している。非確率的カーネル法や深層生成モデルは、不確実性の定量化に欠けるため、内在的幾何構造を保持できないが、ベイズ的手法は、確率的リーマン幾何を通じて、補間や距離測定といった意味のある幾何操作を自然にサポートする。

ABSTRACT

We investigate learning of the differential geometric structure of a data manifold embedded in a high-dimensional Euclidean space. We first analyze kernel-based algorithms and show that under the usual regularizations, non-probabilistic methods cannot recover the differential geometric structure, but instead find mostly linear manifolds or spaces equipped with teleports. To properly learn the differential geometric structure, non-probabilistic methods must apply regularizations that enforce large gradients, which go against common wisdom. We repeat the analysis for probabilistic methods and find that under reasonable priors, the geometric structure can be recovered. Fully exploiting the recovered structure, however, requires the development of stochastic extensions to classic Riemannian geometry. We take early steps in that regard. Finally, we partly extend the analysis to modern models based on neural networks, thereby highlighting geometric and probabilistic shortcomings of current deep generative models.

研究の動機と目的

• 標準的な非確率的多様体学習手法が、なぜデータ多様体の真の微分幾何的構造を回復できないかを調査すること。
• 適切な不確実性の定量化のおかげで、確率的手法が自然にリーマン構造を回復できることを示すこと。
• 潜在空間における幾何構造を十分に活用するための、リーマン幾何の確率的拡張を確立すること。
• 特に滑らかさの仮定と不確実性推定に関する点で、現在の深層生成モデルの根本的な幾何的・確率的欠陥を特定すること。
• 不確実性の定量化がなければ、多様体学習手法は、データ多様体の穴を補間する偏向によって、本質的に任意の非幾何的表現を生み出すと主張すること。

提案手法

• 標準的な正則化のもとでカーネルに基づく非確率的手法を分析し、『トランジット（テレポート）』を伴う線形的または人工的な構造を持つ多様体しか回復できないことを示す。
• 写像 f: Z → X の確率的推定を定式化し、このような手法が潜在空間 Z における真のリーマン計量を回復できることを示す。
• 不確実性が自然な計量と幾何的構造を生じさせる、確率的リーマン多様体の概念を導入する。
• 生成モデルからのプルバック計量を用いて、内在的距離と測地線を定義し、不確実性の欠如により、決定論的手法がこれらを歪めることを示す。
• 変分オートエンコーダーとニューラルネットワークベースのモデルに分析を適用し、滑らかさ正則化だけでは幾何的バイアスが生じることを明らかにする。
• 不確実性の定量化がトポロジー的信号として機能し、多様体の穴や境界を明らかにすることを提唱する。これは古典的幾何における接続性に類似している。

実験結果

リサーチクエスチョン

• RQ1 無限でノイズのないデータがあるにもかかわらず、非確率的カーネル法がなぜデータ多様体の真のリーマン幾何を回復できないのか。
• RQ2 確率的モデルにおける不確実性の定量化が、距離や測地線といった内在的幾何的構造の回復をどのように可能にするのか。
• RQ3 現在の深層生成モデルが幾何的構造を学習する際に抱える根本的制限とは何か。ベイズ的手法とはどのように異なるのか。
• RQ4 生成モデルの潜在空間における意味のある幾何操作を支援するため、リーマン幾何の確率的拡張を開発できるか。
• RQ5 VAE などのモデルにおける決定論的測地線がなぜ多様体の穴を通過してしまうのか。不確実性はどのようにこれを防ぐのか。

主な発見

• 非確率的カーネル法でさえ、無限のデータがある場合でも、潜在多様体の真のリーマン構造を回復できず、『テレポート』を伴う人工的な構造を生み出す。
• 確率的手法は、潜在空間における真のリーマン計量を自然に回復でき、明確な距離、補間点、測定が可能になる。
• 標準的な深層生成モデルにおける不確実性の定量化の欠如は、測地線が多様体の穴を通過する有害なバイアスを生じさせ、多様体上にとどまらない。
• 不確実性の定量化はトポロジー的信号として機能し、多様体の穴や境界を明らかにする。これは、グローバルに一貫した幾何的表現にとって不可欠である。
• 確率的多様体上の期待曲線エネルギーを最小化しても、期待曲線長を最小化するとは限らない。これは、確率的リーマン幾何に新たな幾何的原理が必要であることを示唆する。
• 現在の深層生成モデルは、サンプルパスの不連続性と不確実性推定の悪さのため、ヒューリスティックな不確実性近似を用いても、幾何的操作を適切にサポートできない。