[論文レビュー] Manifold Learning Using Kernel Density Estimation and Local Principal Components Analysis

Kitty Mohammed, Hariharan Narayanan|arXiv (Cornell University)|Sep 11, 2017

Face and Expression Recognition参考文献 14被引用数 10

ひとこと要約

本稿では、ノイズのない一様なサンプルデータから、2つの新しい近似二乗距離関数（asdf）を用いて、証明可能に滑らかな多様体推定器を構築する多様体学習手法を提案する。1つはカーネル密度推定（KDE）に基づくもので、もう1つは局所的主成分分析（PCA）を用いたものである。この手法により、出力される多様体はハウスドルフ距離において真の多様体に限りなく近づき、到達可能範囲（reach）が有界であることが保証される。理論的根拠は陰関数定理およびFeffermanら（2016）の結果に基づいている。

ABSTRACT

We consider the problem of recovering a $d-$dimensional manifold $\mathcal{M} \subset \mathbb{R}^n$ when provided with noiseless samples from $\mathcal{M}$. There are many algorithms (e.g., Isomap) that are used in practice to fit manifolds and thus reduce the dimensionality of a given data set. Ideally, the estimate $\mathcal{M}_\mathrm{put}$ of $\mathcal{M}$ should be an actual manifold of a certain smoothness; furthermore, $\mathcal{M}_\mathrm{put}$ should be arbitrarily close to $\mathcal{M}$ in Hausdorff distance given a large enough sample. Generally speaking, existing manifold learning algorithms do not meet these criteria. Fefferman, Mitter, and Narayanan (2016) have developed an algorithm whose output is provably a manifold. The key idea is to define an approximate squared-distance function (asdf) to $\mathcal{M}$. Then, $\mathcal{M}_\mathrm{put}$ is given by the set of points where the gradient of the asdf is orthogonal to the subspace spanned by the largest $n - d$ eigenvectors of the Hessian of the asdf. As long as the asdf meets certain regularity conditions, $\mathcal{M}_\mathrm{put}$ is a manifold that is arbitrarily close in Hausdorff distance to $\mathcal{M}$. In this paper, we define two asdfs that can be calculated from the data and show that they meet the required regularity conditions. The first asdf is based on kernel density estimation, and the second is based on estimation of tangent spaces using local principal components analysis.

研究の動機と目的

• 既存の多様体学習アルゴリズムが真の背後にある多様体に近い実際の多様体を生成できないという限界を解消すること。
• Fefferman ら（2016）の理論的多様体回復に必要な正則性条件を満たすデータ駆動型のasdfを提供すること。
• KDEベースおよび局所PCAベースのasdfの両方が、滑らかで到達可能範囲が有界であり、真の多様体にハウスドルフ距離で収束する推定器を生成することを示すこと。
• Fefferman らのアルゴリズムにおける全探索を避ける実用的で非全遍歴な代替手法を提供し、全探索を経ずにデータから直接asdfを計算すること。
• 円、3次元曲線、球面のシミュレーションを通じて、多様体回復における低RMS誤差を実証的に検証すること。

提案手法

• データから2つの近似二乗距離関数（asdf）を定義する：1つはカーネル密度推定（KDE）を用い、もう1つは局所PCAを用いて接空間を近似する。
• 各asdfの勾配とヘッセ行列を用いて、勾配がヘッセ行列の最大 $n-d$ 個の固有ベクトルが張る部分空間に直交する点を特定する。
• Ozertem と Erdogmus（2011）に基づく部分空間制約付き勾配降下法を用い、点を反復的に推定多様体に近づける。
• 直交性条件を満たす点の集合として最終的な推定器 $\mathcal{M}_{\text{put}}$ を構築し、それが到達可能範囲が有界な多様体であることを保証する。
• 陰関数定理およびFefferman ら（2016）の理論的結果を活用して、$\mathcal{M}_{\text{put}}$ のハウスドルフ距離および到達可能範囲の境界を導出する。
• ノイズを含むサンプル点のメッシュを勾配降下の初期化に用い、収束は許容誤差条件でモニタリングする。

実験結果

リサーチクエスチョン

• RQ1 カーネル密度推定を用いて、理論的多様体回復に必要な正則性条件を満たすasdfを構築できるか？
• RQ2 局所的主成分分析（PCA）は、ノイズのない一様なサンプルデータから多様体を推定するための信頼性のあるasdfを提供できるか？
• RQ3 得られた多様体推定器 $\mathcal{M}_{\text{put}}$ は到達可能範囲が有界であり、真の多様体 $\mathcal{M}$ にハウスドルフ距離で収束するか？
• RQ4 有限サンプルシミュレーションにおいて、KDEベースと局所PCAベースのasdfは、精度および収束速度の面でどのように比較されるか？
• RQ5 Fefferman ら（2016）の理論的保証を、全探索を経ずに実用的でデータ駆動型のasdfを用いて具体化できるか？

主な発見

• KDEベースのasdfは、真の円からの平均RMS距離が 0.000433、3次元曲線からの距離が 0.000990、球面からの距離が 0.00221 を達成した。
• 局所PCAベースのasdfは、より低い平均RMS距離 0.000146（円）、0.000453（3次元曲線）、0.000603（球面）を達成した。
• 推定多様体 $\mathcal{M}_{\text{put}}$ と真の多様体 $\mathcal{M}$ 間のハウスドルフ距離は $O(\widebar{\tau}^2)$ である。ここで $\widebar{\tau}$ はデータに依存するパラメータである。
• 推定多様体 $\mathcal{M}_{\text{put}}$ は、$C^2$ 多様体であり、$c\widebar{\tau}$ で下から有界な到達可能範囲を持つことが保証される。ここで $c$ はモデルパラメータに依存する。
• Fefferman ら（2016）の全探索を避けるために、KDEおよび局所PCAを用いてデータから直接asdfを計算することで実現した。
• 理論的分析により、$\mathcal{M}_{\text{put}}$ が有界な滑らかさを持つ多様体であり、サンプルサイズが増加するにつれて $\mathcal{M}$ にハウスドルフ距離で収束することが確認された。