[論文レビュー] Disentangling by Subspace Diffusion

David Pfau, Irina Higgins+2 more|arXiv (Cornell University)|Jun 23, 2020

Morphological variations and asymmetry参考文献 72被引用数 5

ひとこと要約

本稿では、微分幾何学のde Rham分解を活用し、部分空間拡散を用いて不変部分空間を推定することで、データ多様体の分離を実現する非パrametricなアルゴリズム、GeoManCErを提案する。真の多様体計量が既知であり、各要因多様体が非自明なホロノミー（例：3次元回転）を持つ場合、完全に教師なしの分離が可能であることを示し、表現学習の幾何的基盤を提供する。

ABSTRACT

We present a novel nonparametric algorithm for symmetry-based disentangling of data manifolds, the Geometric Manifold Component Estimator (GEOMANCER). GEOMANCER provides a partial answer to the question posed by Higgins et al. (2018): is it possible to learn how to factorize a Lie group solely from observations of the orbit of an object it acts on? We show that fully unsupervised factorization of a data manifold is possible if the true metric of the manifold is known and each factor manifold has nontrivial holonomy -- for example, rotation in 3D. Our algorithm works by estimating the subspaces that are invariant under random walk diffusion, giving an approximation to the de Rham decomposition from differential geometry. We demonstrate the efficacy of GEOMANCER on several complex synthetic manifolds. Our work reduces the question of whether unsupervised disentangling is possible to the question of whether unsupervised metric learning is possible, providing a unifying insight into the geometric nature of representation learning.

研究の動機と目的

• 教師付き情報や強い仮定なしに、データ多様体の教師なし分離が可能かどうかを検証すること。
• Higginsら（2018）が提示した、リー群作用に基づく分離問題に対して幾何的解決策を提供すること。
• 分離の課題を、基礎となる多様体計量の学習可能性に還元することで、幾何学的および表現学習の視点を統合すること。
• 各要因多様体が非自明なホロノミー（例：3次元回転）を持つ場合、分離が達成可能であることを示すこと。

提案手法

• GeoManCErは、データ多様体上でのランダムウォーク拡散に対して不変な部分空間を推定し、微分幾何学のde Rham分解を近似する。
• 多様体の真の計量が既知であることに依存し、幾何的成分を明らかにする拡散過程を計算する。
• 拡散が方向を混合しない部分空間を特定することで、独立した要因多様体を示す。
• de Rham分解定理を用いて、このような不変部分空間が多様体の非可約成分に対応することを形式的に正当化する。
• 局所的計量情報が利用可能な場合、非線形埋め込みを学習する必要なく、直接的にデータ上で動作する。
• 3次元回転などの非自明なホロノミーを持つ多様体に適用可能であり、可換部分群により明確な類推的推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 群の軌道の観測のみから、完全に教師なしのデータ多様体の分離が達成可能か？
• RQ2 真の計量が与えられたもとで、リー群作用の因子分解を教師なしに回復可能か？
• RQ3 要因多様体に非自明なホロノミーが存在する場合、幾何的拡散によって分離が可能か？
• RQ4 観測されたデータ多様体上での拡散過程を用いて、de Rham分解を近似可能か？

主な発見

• GeoManCErは、非線形埋め込みを学習しないまま、部分空間拡散を用いて不変部分空間を特定することで、複雑な合成多様体を効果的に分離する。
• 真の多様体計量が既知であり、各要因多様体が非自明なホロノミー（例：3次元回転）を持つ場合、本手法は分離を達成する。
• 一方、標準的なβ-VAEモデルは、スタンフォード3Dオブジェクトデータセットにおいて、UDRスコアがほぼゼロであり、潜在空間の走査ではポーズと照明の混合符号化が示されることから、不変な表現を学習できない。
• UDR指標は、ハイパーパramータ探索の全範囲において、高い分離可能性を持つβ-VAEモデルが存在しないことを示しており、すべての情報を持つ潜在変数がポーズと照明の両方を符号化している。
• 固定条件における推定平均の分析から、いかなる潜在次元に対しても分散の低減が確認されず、β-VAEが不変な部分空間を学習していないことが確認される。
• これらの結果は、教師なし分離が、計量が既知でありホロノミーが非自明である場合にのみ幾何学的に可能であり、問題が計量学習に還元されることを支持する。