[論文レビュー] Expected path length on random manifolds

David Eklund, Søren Hauberg|arXiv (Cornell University)|Aug 20, 2019

Gaussian Processes and Bayesian Inference参考文献 29被引用数 9

ひとこと要約

本稿では、生成モデルの潜在空間におけるランダムリーマン計量の決定的近似を提案し、再パrametrization不変な操作（補間、距離計算、積分など）を計算的に扱えるようにする。主な貢献は、期待される経路長誤差に対するきめ細かい理論的バインディングであり、機械学習で一般的な高次元データ設定において特に正確である。

ABSTRACT

Manifold learning seeks a low dimensional representation that faithfully captures the essence of data. Current methods can successfully learn such representations, but do not provide a meaningful set of operations that are associated with the representation. Working towards operational representation learning, we endow the latent space of a large class of generative models with a random Riemannian metric, which provides us with elementary operators. As computational tools are unavailable for random Riemannian manifolds, we study deterministic approximations and derive tight error bounds on expected distances.

研究の動機と目的

• 補間、距離、積分をサポートする数学的に整合性のある、生成モデルの潜在空間の操作的表現を構築すること。
• 標準的な非線形多様体学習やVAE型モデルにおける不変かつ意味のある幾何的演算の欠如に対処すること。
• 確立された計算ツールのないランダムリーマン多様体を直接扱うのと比較して、計算的に実行可能な代替手法を提供すること。
• 幾何的演算が潜在空間の滑らかな再パrametrizationに対して不変であることを保証し、ユークリッドベースの計量による曖昧性を解消すること。

提案手法

• 生成関数 $f$ のヤコビアンから導かれるランダムリーマン計量を、生成モデル $x = f(z)$ の潜在空間に導入する。
• 期待値を計算することでランダム計量の決定的近似を構築し、標準的なリーマン幾何学的手法の利用を可能にする。
• ヤコビアン分布の平均と分散を用いて、ランダム計量下での点間の期待geodesic経路長誤差についてきめ細かい誤差バインディングを導出する。
• ガウス過程潜在変数モデル（GPLVMs）にこのフレームワークを適用し、マッピング関数の事後平均と分散が解析的に扱えることを活用する。
• 非心ワイシャールト分布の性質を活用して、GPLVMの事後分布における期待計量テンソルを特徴付ける。
• 回転画像データを用いた実験により、確率的および決定的近似下での期待経路長を比較し、近似の妥当性を実証する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間におけるランダムリーマン計量の決定的近似は、期待経路長を高い精度で保持できるか？
• RQ2 高次元生成モデルにおける期待経路長の近似誤差は、データ次元数にどのように依存するか？
• RQ3 提案手法は、潜在空間の滑らかな再パrametrizationに対して幾何的演算の不変性をどの程度保証するか？
• RQ4 このフレームワークは、生成モデルの潜在空間において、補間や距離計算といった意味のある不変な操作を可能にするか？
• RQ5 真のランダムリーマン多様体上での期待経路長とその決定的近似との間の理論的誤差バインディングは何か？

主な発見

• ランダムリーマン計量の決定的近似は、期待経路長誤差に対してきめ細かなバインディングを提供し、そのバインディングは出力次元 $n$ におけるデータ次元数 $n$ に対して $O(1/n)$ のスケーリングを示す。
• 特に現代の機械学習応用（画像や信号モデリングなど）で一般的な高次元設定において、誤差バインディングは極めてきつい。
• 回転画像データを用いた実験的評価では、理論的誤差バインディングと観測された相対誤差の期待経路長が強く一致した。
• この近似は滑らかな再パrametrizationに対して不変を保ち、VAEのようなモデルの潜在空間におけるユークリッド計量の曖昧性を解消した。
• 線形事前カーネル $K(p,q) = p^T q$ を持つGPLVMでは、期待計量が定数となるため、平坦な平均多様体と直線的geodesicを持つ。
• このフレームワークにより、標準的なリーマン幾何学的手法が計算に利用可能となり、実用的な操作的表現学習が可能になった。