[論文レビュー] Memory-efficient Kernel PCA via Partial Matrix Sampling and Nonconvex Optimization: a Model-free Analysis of Local Minima

Chen Ji, Xiaodong Li|arXiv (Cornell University)|Nov 6, 2017

Sparse and Compressive Sensing Techniques参考文献 42被引用数 8

ひとこと要約

本稿では、部分行列サンプリングと非凸最適化を用いたメモリ効率の良いカーネルPCA手法を提案し、カーネル行列の構造に関する仮定なしに低ランク近似を可能にする。モデルフリーの理論を確立し、目的関数の任意の局所最適解が有効な低ランク近似をもたらすことを示しており、構造的設定における先行の非凸行列補完結果を改善する。

ABSTRACT

Kernel PCA is a widely used nonlinear dimension reduction technique in machine learning, but storing the kernel matrix is notoriously challenging when the sample size is large. Inspired by Yi et al. [2016], where the idea of partial matrix sampling followed by nonconvex optimization is proposed for matrix completion and robust PCA, we apply a similar approach to memory-efficient Kernel PCA. In theory, with no assumptions on the kernel matrix in terms of eigenvalues or eigenvectors, we established a model-free theory for the low-rank approximation based on any local minimum of the proposed objective function. As interesting byproducts, when the underlying positive semidefinite matrix is assumed to be low-rank and highly structured, corollaries of our main theorem improve the state-of-the-art results of Ge et al. [2016, 2017] for nonconvex matrix completion with no spurious local minima. Numerical experiments also show that our approach is competitive in terms of approximation accuracy compared to the well-known Nystr\{o}m algorithm for Kernel PCA.

研究の動機と目的

• 高次元データセットにおけるカーネルPCAのメモリボトルネック（大きなカーネル行列の保存）を解消すること。
• 完全なカーネル行列の保存を回避するため、部分サンプリングを用いた従来のカーネルPCAのスケーラブルな代替手法を開発すること。
• 固有値構造に関する仮定なしに、非凸目的関数の局所最適解を用いた低ランク近似の理論的保証を提供すること。
• 低ランクで強く構造化された設定において、最先端の非凸行列補完結果を改善すること。
• 数値実験において、Nyström法と比較して競争力のある近似精度を示すこと。

提案手法

• Yiら（2016）の部分行列サンプリングと非凸最適化フレームワークをカーネルPCAに適応する。
• カーネル行列のサンプルされた要素を用いて、低ランク要因に関する非凸最適化問題を構築する。
• 因子分解に基づく目的関数を採用し、カーネル行列を低ランク構造で近似する。
• 固有値や固有ベクトルの特定の性質を仮定せずに、目的関数の局所最適解の挙動を分析する。
• 理論的ツールを活用して、任意の局所最適解に対するモデルフリーの収束保証を確立する。
• 系を用いて、Ge ら（2016, 2017）の結果と比較して、構造的で低ランクの設定で改善された結果を示す。

実験結果

リサーチクエスチョン

• RQ1 部分行列サンプリングと非凸最適化を組み合わせることで、完全なカーネル行列の保存なしに記憶効率の良いカーネルPCAを実現できるか？
• RQ2 非凸目的関数の局所最適解を用いた低ランク近似に対して、どのような理論的保証を提供できるか？
• RQ3 近似精度の観点から、本手法はNyströmアルゴリズムなどの既存手法と比べてどのように差をつけるか？
• RQ4 どのような条件下で、本手法は先行の非凸行列補完技術を上回るか？
• RQ5 局所最適解のモデルフリー分析を、構造的で低ランクのカーネル行列に拡張できるか？

主な発見

• 数値実験において、有名なNyström法と比較して、本手法は競争力のある近似精度を達成している。
• モデルフリー理論により、カーネル行列の固有値構造に関係なく、非凸目的関数の任意の局所最適解が有効な低ランク近似をもたらすことが保証されている。
• 構造的で低ランクの設定において、Ge ら（2016, 2017）の非凸行列補完の最先端結果を上回っている。
• 理論的枠組みは、カーネル行列の固有値や固有ベクトルに関する仮定を必要とせず、一般性を高めている。
• 部分サンプリングにより完全なカーネル行列の保存を回避することで、メモリ使用量を効果的に削減している。
• 解析により、提案された目的関数の下で、低ランク近似の文脈において、局所最適解が偽の解（スパurious）でないことが明らかになった。