[論文レビュー] Improved guarantees and a multiple-descent curve for the Column Subset Selection Problem and the Nyström method.

Michał Dereziński, Rajiv Khanna+1 more|arXiv (Cornell University)|Feb 21, 2020

Sparse and Compressive Sensing Techniques参考文献 29被引用数 6

ひとこと要約

この論文は、データ行列のスペクトル的性質を活用することで、列サブセット選択問題（CSSP）とニストルム法の近似保証を改善し、多項式的または指数的 singular value の減衰を示すデータセットに対して、より緊密な境界をもたらす。subset size k に対する近似誤差における新しい複数降下曲線を明らかにし、これがアーティファクトではなく本質的な性質であることを示し、RBFパラメータを調整することで実RBFカーネルデータ上での検証を実施する。

ABSTRACT

The Column Subset Selection Problem (CSSP) and the Nystrom method are among the leading tools for constructing small low-rank approximations of large datasets in machine learning and scientific computing. A fundamental question in this area is: how well can a data subset of size k compete with the best rank k approximation? We develop techniques which exploit spectral properties of the data matrix to obtain improved approximation guarantees which go beyond the standard worst-case analysis. Our approach leads to significantly better bounds for datasets with known rates of singular value decay, e.g., polynomial or exponential decay. Our analysis also reveals an intriguing phenomenon: the approximation factor as a function of k may exhibit multiple peaks and valleys, which we call a multiple-descent curve. A lower bound we establish shows that this behavior is not an artifact of our analysis, but rather it is an inherent property of the CSSP and Nystrom tasks. Finally, using the example of a radial basis function (RBF) kernel, we show that both our improved bounds and the multiple-descent curve can be observed on real datasets simply by varying the RBF parameter.

研究の動機と目的

• 標準的な解析を超えて、列サブセット選択問題（CSSP）およびニストルム法の最悪ケース近似保証を改善すること。
• 既知の singular value 減衰率を有するデータセットに対して、行列のスペクトル的性質を活用する手法を開発し、より緊密な境界を導出すること。
• サブセットサイズ k の関数として観察される近似誤差の挙動が、アーティファクトであるのか、それとも CSSP およびニストルムタスクの本質的性質であるのかを調査すること。
• RBFカーネルのパラメータを変化させることで、実世界のデータセット上での理論的発見の妥当性を検証すること。

提案手法

• 著者らは、singular value の減衰率を近似誤差境界に組み込むスペクトルに基づく解析フレームワークを導入する。
• 多項式的または指数的減衰などの、singular value 減衰率に依存する改善された上界を導出する。
• k の関数としての近似要因に複数降下曲線が現れ、誤差が複数のピークとボウルを繰り返すことを明らかにする。
• 理論的下界を確立することで、複数降下挙動が解析のアーティファクトではなく、CSSP およびニストルム問題の本質的特徴であることを示す。
• RBFパラメータを変化させることで、RBFカーネル行列上に実験的にフレームワークを検証し、スペクトル的性質の変化に伴い複数降下曲線に顕著な変化が現れることを確認する。

実験結果

リサーチクエスチョン

• RQ1 データ行列のスペクトル的性質は、列サブセット選択問題およびニストルム法の近似保証を改善できるか？
• RQ2 サブセットサイズ k の関数としての近似誤差は複数降下挙動を示すか？ そして、その挙動はアーティファクトであるのか、それとも本質的性質であるのか？
• RQ3 改善された理論的境界および複数降下現象は、RBFパラメータなどのハイパーパrameterを調整することで実データセット上でも観測可能か？
• RQ4 多項式的 vs. 指数的といった異なる singular value 減衰率は、列選択による低ランク近似の品質にどのように影響するか？

主な発見

• 提示されたスペクトル的解析により、特に多項式的または指数的減衰率を示すデータセットに対して、顕著に緊密な近似境界が得られる。
• k の関数としての近似要因は、複数のピークとボウルを持つ複数降下曲線を示し、下界によりこれが CSSP およびニストルムタスクの本質的性質であることが示された。
• RBFパラメータを変化させることで、実RBFカーネルデータセット上に複数降下挙動が実験的に観測可能であり、理論的予測を裏付ける。
• 改善された境界は最悪ケースに限定されるのではなく、予測可能な singular value 減衰を示す構造的データセットに対して特に効果的である。