[論文レビュー] Deep Manifold Computing and Visualization

Stan Z. Li, Zelin Zang+1 more|arXiv (Cornell University)|Oct 28, 2020

3D Shape Modeling and Analysis被引用数 2

ひとこと要約

本論文では、非線形多様体における局所幾何構造を保つために、非線形類似度関数と活性化関数を用いた二重方向の分散損失により、層間で計測的一致性を強制することで、局所等長平滑性（ELIS）と呼ばれる深層学習の新手法を提案する。ELISは、非線形次元削減、可視化、多様体データ生成の分野で、UMAP や t-SNE や最先端のオートエンコーダーを凌駝する性能を発揮する。

ABSTRACT

The ability to preserve local geometry of highly nonlinear manifolds in high dimensional spaces and properly unfold them into lower dimensional hyperplanes is the key to the success of manifold computing, nonlinear dimensionality reduction (NLDR) and visualization. This paper proposes a novel method, called elastic locally isometric smoothness (ELIS), to empower deep neural networks with such an ability. ELIS requires that a desired metric between points should be preserved across layers in order to preserve local geometry; such a smoothness constraint effectively regularizes vector-based transformations to become well-behaved local metric-preserving homeomorphisms. Moreover, ELIS requires that the smoothness should be imposed in a way to render sufficient flexibility for tackling complicated nonlinearity and non-Euclideanity; this is achieved layer-wisely via nonlinearity in both the similarity and activation functions. The ELIS method incorporates a class of suitable nonlinear similarity functions into a two-way divergence loss and uses hyperparameter continuation in finding optimal solutions. Extensive experiments, comparisons, and ablation study demonstrate that ELIS can deliver results not only superior to UMAP and t-SNE for and visualization but also better than other leading counterparts of manifold and autoencoder learning for NLDR and manifold data generation.

研究の動機と目的

• 高次元で非線形性の強い多様体を低次元空間に展開する際の、局所幾何的構造の保存という課題に対処すること。
• ネットワークの各層間で滑らかで、局所的に等長的である変換が保証される深層学習フレームワークの開発。
• 多様体データ内の複雑な非線形性と非ユークリッド的構造のモデリングにおける柔軟性の向上。
• UMAP や t-SNE らの既存手法を超えて、非線形次元削減（NLDR）、可視化、多様体データ生成の分野での性能向上。

提案手法

• ELIS は、入力空間における点間距離が潜在空間でも維持されることを要件とすることで、層間における計測的一致性を強制し、局所幾何が保たれるようにする。
• 変換の正則化に二重方向の分散損失を用い、滑らかで逆写像が可能な、局所的に等長的なマッピングを促進する。
• データ内の複雑な非ユークリッド的関係をモデル化するため、非線形類似度関数を損失関数に組み込む。
• 複雑な多様体構造を扱える十分な表現力を持つよう、層ごとに非線形活性化関数を適用する。
• ハイパーパramータ継続法を用いて、損失関数の効率的最適化と安定的で高品質な解の探索を実現する。
• 深層ニューラルネットワークに統合することで、多様体構造のエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 高次元で非線形性の強い多様体を低次元空間にマッピングする際、深層学習フレームワークが局所幾何的構造を効果的に保存できるか。
• RQ2 深層ネットワークの複数層にわたり、滑らかで局所的に等長的かつ逆写像可能な変換をどのように強制できるか。
• RQ3 非線形類似度関数と活性化関数は、複雑で非ユークリッド的な多様体構造のモデリングをどの程度向上できるか。
• RQ4 提案された ELIS 法は、ベンチマークデータセット上で UMAP や t-SNE よりも可視化および NLDR タスクで優れた性能を発揮するか。
• RQ5 ELIS は高品質な多様体データを生成でき、オートエンコーダーに基づく多様体学習で優れた性能を達成できるか。

主な発見

• UMAP や t-SNE よりも優れた可視化品質を達成し、特に局所的近傍構造の保存において顕著な優位性を示す。
• 複雑で高次元のデータセットにおいて、最先端のオートエンコーダーを上回る非線形次元削減性能を示す。
• 多様体データ生成においても優れた性能を発揮し、現実的で構造的に整合性のある潜在表現を生成する。
• アブレーションスタディにより、二重方向の分散損失と非線形類似度関数の両方が最適性能を達成するために不可欠であることが確認された。
• ハイパーパramータ継続法により、安定的かつ効率的な最適化が実現され、一貫性があり高品質な多様体埋め込みが得られた。
• 非線形性の層ごとの適用により、非ユークリッド的で極めて非線形な多様体の効果的モデリングが可能になり、柔軟性が向上した。