[論文レビュー] Deep nets for local manifold learning

Charles K. Chui, H. N. Mhaskar|arXiv (Cornell University)|Jul 24, 2016

Sparse and Compressive Sensing Techniques参考文献 53被引用数 9

ひとこと要約

本稿では、固有値分解を必要とせず、高次元空間に埋め込まれた多様体上に局所座標系を構築する深層学習フレームワークを提案する。これにより、深層ニューラルネットワークを用いてチューブ型近傍への最適な関数拡張が可能となり、事前誤差境界と普遍近似性を保証する。関数の滑らかさに局所的に適応し、出先外拡張問題と逆写像問題を制御された成長とともに解ける。

ABSTRACT

The problem of extending a function $f$ defined on a training data $\mathcal{C}$ on an unknown manifold $\mathbb{X}$ to the entire manifold and a tubular neighborhood of this manifold is considered in this paper. For $\mathbb{X}$ embedded in a high dimensional ambient Euclidean space $\mathbb{R}^D$, a deep learning algorithm is developed for finding a local coordinate system for the manifold {\bf without eigen--decomposition}, which reduces the problem to the classical problem of function approximation on a low dimensional cube. Deep nets (or multilayered neural networks) are proposed to accomplish this approximation scheme by using the training data. Our methods do not involve such optimization techniques as back--propagation, while assuring optimal (a priori) error bounds on the output in terms of the number of derivatives of the target function. In addition, these methods are universal, in that they do not require a prior knowledge of the smoothness of the target function, but adjust the accuracy of approximation locally and automatically, depending only upon the local smoothness of the target function. Our ideas are easily extended to solve both the pre--image problem and the out--of--sample extension problem, with a priori bounds on the growth of the function thus extended.

研究の動機と目的

• 高次元ユークリッド空間に埋め込まれた多様体上での局所座標系を学習する深層学習アルゴリズムを開発すること。固有値分解を必要としない。
• 訓練データセット上で定義された関数を、未知の多様体上からそのチューブ型近傍へ深層ニューラルネットワークを用いて拡張すること。
• 目標関数の微分回数に依存する、近似誤差に対する最適な事前誤差境界を保証すること。
• 関数の正則性に関する事前知識がなくても、関数の滑らかさに局所的に適応する普遍近似を達成すること。
• 関数の成長に関する事前境界を伴い、出先外拡張問題と逆写像問題を解くこと。

提案手法

• 多様体のチューブ型近傍における局所座標系を用いて問題を低次元立方体上への関数近似に還元し、深層ニューラルネットワークを用いる。
• 距離を定数倍の要因まで保つマッピング $ v(\mathbf{q}) = u(\pi_c(\mathbf{q})) + (0,\dots,0,q^{d+1},\dots,q^s,0,\dots,0) $ を用いて局所座標系を構築する。
• 関数拡張の成長を制御するため、最小ソボレフノルム（MSN）補間を採用し、$ \int_{[-1,1]^s} |\Delta P(\mathbf{t})|^2 \, d\mathbf{t} / \sqrt{(1-(t^1)^2)\cdots(1-(t^s)^2)} $ を最小化する。ただし、補間条件を満たすものとする。
• 訓練点 $ \mathbf{x}_j \in \mathcal{C} $ における関数値と一致する多項式 $ P^* $ を用いて拡張を定義し、安定性と有界な成長を保証する。
• バックプロパゲーションや最適化手法を避けており、理論的誤差境界と座標系の幾何的・解析的構築に依存する。
• 多様体をパラメータ化 $ v $ を用いて $ \mathbb{R}^D $ の部分多様体とみなす。$ s \geq d $ であり、ヤコビアンが $ \|J_s(\mathbf{q}) - J_s(0)\| \leq \kappa \|\mathbf{q}\|_s $ を満たすことを保証する。

実験結果

リサーチクエスチョン

• RQ1 深層学習フレームワークは、固有値分解を必要とせず、多様体上に局所座標系を学習し、低次元立方体上での関数近似を可能にするか？
• RQ2 有限な訓練データセット上で定義された関数を、その多様体のチューブ型近傍へ、制御された成長と最適な誤差境界を伴って拡張できるか？
• RQ3 本手法は、関数の正則性に関する事前知識がなくても、局所的な滑らかさに適応する普遍近似を達成できるか？
• RQ4 逆写像問題と出先外拡張問題は、拡張関数の挙動に関する事前境界を伴って解けるか？
• RQ5 最小ソボレフノルム補間は、安定的かつ有界な関数拡張を保証するために果たす役割は何か？

主な発見

• 提案手法は、バックプロパゲーションや最適化を必要とせず、目標関数の微分回数に依存する最適な事前誤差境界を達成する。
• 深層ニューラルネットワークを用いた手法により、関数の滑らかさに自動的に適応する普遍近似が可能となり、関数の正則性に関する事前知識が不要となる。
• チューブ型近傍への拡張は、最小ソボレフノルム補間を用いて実現され、拡張関数の成長が事前的に制御され、有界である。
• 本手法は、拡張関数の挙動に関する理論的保証を伴い、逆写像問題と出先外拡張問題を効果的に解く。
• 座標系の構築は固有値分解を避けており、多様体およびその $ \mathbb{R}^D $ への埋め込みの幾何的・解析的性質に依存する。
• 本フレームワークは、多様体次元 $ s $ の過大評価に対してもロバストであり、過大評価による誤差はわずかに抑えられ、距離を尊重する性質を維持する。