[論文レビュー] Efficient Algorithms and Error Analysis for the Modified Nystrom Method

Shusen Wang, Zhihua Zhang|arXiv (Cornell University)|Apr 1, 2014

Stochastic Gradient Optimization Techniques参考文献 25被引用数 9

ひとこと要約

この論文は、大規模なカーネル行列のための低ランク近似手法である修正ニストローム法のための効率的なアルゴリズムと理論的分析を提案する。単純で証明可能な正確性を持つ列選択アルゴリズムと、交差行列の計算を高速化する手法を導入し、行列サイズに応じて誤差が増大しない低時間計算量と高い正確性を達成している。

ABSTRACT

Many kernel methods suffer from high time and space complexities and are thus prohibitive in big-data applications. To tackle the computational challenge, the Nyström method has been extensively used to reduce time and space complexities by sacrificing some accuracy. The Nyström method speedups computation by constructing an approximation of the kernel matrix using only a few columns of the matrix. Recently, a variant of the Nyström method called the modified Nyström method has demonstrated significant improvement over the standard Nyström method in approximation accuracy, both theoretically and empirically. In this paper, we propose two algorithms that make the modified Nyström method practical. First, we devise a simple column selection algorithm with a provable error bound. Our algorithm is more efficient and easier to implement than and nearly as accurate as the state-of-the-art algorithm. Second, with the selected columns at hand, we propose an algorithm that computes the approximation in lower time complexity than the approach in the previous work. Furthermore, we prove that the modified Nyström method is exact under certain conditions, and we establish a lower error bound for the modified Nyström method.

研究の動機と目的

• 大規模データ応用におけるカーネル法の高い計算コストを低減するために、修正ニストローム法の効率性を向上させること。
• 標準的なニストローム法では行列サイズが大きくなると近似誤差が増大するという制限を、修正ニストロームアプローチを用いて克服すること。
• 少ない列数で高い正確性を維持しつつ、実用的で効率的な修正ニストローム法の実装を開発すること。
• 修正ニストローム法の理論的保証を確立し、正確な回復条件と下界誤差を含むこと。
• 既存の手法を凌駕する実用的で証明可能な正確性を持つ、計算効率の高い列選択アルゴリズムを提供すること。

提案手法

• 一様サンプリングと適応的リファインメントを組み合わせた、'一様＋適応的2'と呼ばれる列選択アルゴリズムを提案し、証明可能な誤差バウンドを達成する。
• 修正ニストローム法における交差行列の計算を効率化するアルゴリズムを設計し、特にスパースなカーネル行列において時間計算量を低減する。
• 定数の非対角要素を持つブロック対角行列構造を用いて、制御された条件下で理論的誤差バウンドを導出する。
• 行列分解と疑似逆行列演算を活用し、${\bf \tilde{A}}^{\textrm{mod}}_{c} = {\bf C}{\bf U}{\bf C}^{T}$ を通じて低ランク近似を計算する。ここで ${\bf U} = {\bf C}^{\dagger}{\bf A}({\bf C}^{T})^{\dagger}$ である。
• 元のカーネル行列が低ランクであるか、特定の構造的条件を満たす場合に、修正ニストローム法が正確な回復を達成することを証明する。
• スペクトルノルムおよびフロベニウスノルム解析を用いて、修正ニストローム法の下界誤差を確立する。

実験結果

リサーチクエスチョン

• RQ1 既存の最先端手法と比較して、修正ニストローム法に適したより効率的で証明可能な正確性を持つ列選択アルゴリズムを設計できるか？
• RQ2 正確性を損なわずに、修正ニストローム法における交差行列の計算時間計算量を低減できるか？
• RQ3 修正ニストローム法が、どのような条件下で元のカーネル行列を正確に回復するか？
• RQ4 修正ニストローム法の近似誤差の理論的下界は何か？ そして、その下界はタイトであるとされるか？
• RQ5 列選択プロセスにおけるパrameter $\mu$ の選択に、提案アルゴリズムの性能がどれほど敏感か？

主な発見

• '一様＋適応的2'と呼ばれる提案された列選択アルゴリズムは、近似的最適＋適応的アルゴリズムと同等の誤差バウンドを達成するが、はるかに効率的で実装が容易である。
• 交差行列を計算するための新しいアルゴリズムにより、時間計算量が低減され、特にスパースなカーネル行列において恩恵が大きい。
• 行列が低ランクであるか、特定の構造的条件を満たす場合、修正ニストローム法が元のカーネル行列を正確に回復することが証明された。
• 修正ニストローム法の下界誤差が確立され、その下界はタイトであると予想されており、行列サイズ $m$ に依存して増大しない。
• 実験結果から、近似の正確性はパrameter $\mu$ の選択に対して相対的に感度が低く、実際に行列のコherenCeを $\mu$ に設定しても最良の性能を必ずしも得られないことが示された。
• 修正ニストローム近似のフロベニウスノルム誤差は、$(1 - \alpha)^2(m - c)\left(1 + \frac{2k}{c}\left(1 - \frac{k(1 - \alpha)(1 + o(1))}{\alpha m}\right)\right)$ で下から抑えられ、$\alpha \to 1$ のときが最もタイトなバウンドを与える。