[論文レビュー] Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystr\\"om method

Michał Dereziński, Rajiv Khanna+1 more|arXiv (Cornell University)|Feb 20, 2020

Sparse and Compressive Sensing Techniques参考文献 57被引用数 13

ひとこと要約

本稿は、データ行列のスペクトル的性質を活用することで、列サブセット選択（CSSP）およびニーヨーム法の理論的保証を改善し、サブセットサイズkの関数として近似誤差に新たな複数降下曲線が存在することを明らかにした。解析により、近似要因はスペクトルの減衰に応じて複数のピークと谷を持つことが示され、多項式的または指数的減衰を示す行列に対しては、k+1の最悪ケース保証を著しく上回るよりタイトな境界が得られる。

ABSTRACT

The Column Subset Selection Problem (CSSP) and the Nystr\\"om method are among the leading tools for constructing small low-rank approximations of large datasets in machine learning and scientific computing. A fundamental question in this area is: how well can a data subset of size k compete with the best rank k approximation? We develop techniques which exploit spectral properties of the data matrix to obtain improved approximation guarantees which go beyond the standard worst-case analysis. Our approach leads to significantly better bounds for datasets with known rates of singular value decay, e.g., polynomial or exponential decay. Our analysis also reveals an intriguing phenomenon: the approximation factor as a function of k may exhibit multiple peaks and valleys, which we call a multiple-descent curve. A lower bound we establish shows that this behavior is not an artifact of our analysis, but rather it is an inherent property of the CSSP and Nystr\\"om tasks. Finally, using the example of a radial basis function (RBF) kernel, we show that both our improved bounds and the multiple-descent curve can be observed on real datasets simply by varying the RBF parameter.

研究の動機と目的

• 列サブセット選択およびニーヨーム法の標準的最悪ケース近似保証k+1を改善すること。
• 特に構造的スペクトル的減衰を示すデータセットにおいて、実用的性能が最悪ケース境界を著しく上回る理由を理解すること。
• サブセットサイズkの関数としての近似要因の本質的挙動、特にスペクトル的構造との関係を同定すること。
• 近似誤差が複数のピークと谷を持つ「複数降下現象」が、解析の副産物ではなく、CSSPおよびニーヨームタスクの本質的性質であることを示すこと。
• 確率的（k-DPP）およびグリーディなサブセット選択手法の両方が、理論的予測と整合する複数降下曲線を示すことを検証すること。

提案手法

• 一般化された安定ランクの概念を用いて、スペクトル的減衰率に依存するCSSP近似要因の上界族を構築し、マスターテーレム（定理1）を提案する。
• 多項式的または指数的減衰を示すような既知の特異値減衰を示す行列に対して、より良い境界（定理2）を導出。k+1の最悪ケース境界を著しく上回ることを示す。
• 複数降下挙動が本質的であることを証明する新たな下界構築（定理3）を導入。
• サブセットサイズkの関数としての近似要因を解析し、そのピークと谷がデータ行列のスペクトルにおける急激な低下と関連していることを特定。
• 合成および実データセットを用いたk-DPPおよびグリーディなサブセット選択による複数降下曲線の実証的検証。σを変化させたRBFカーネルを用いて、スペクトルの低下と性能ピークの整合性を確認。
• RBFカーネルを可変パラメータσとして用いることで、実データで複数降下曲線を観測するための調整可能なメカニズムを提供。

実験結果

リサーチクエスチョン

• RQ1 列サブセット選択およびニーヨーム法に対して、最悪ケースk+1の境界を上回る改善された近似保証を導出可能か？
• RQ2 スペクトル的性質、特に特異値減衰が、サブセットサイズkの関数としての近似要因の挙動に果たす役割は何か？
• RQ3 近似要因に観察される複数のピークと谷（複数降下）の挙動は、解析の副産物であるのか、それとも問題の本質的性質であるのか？
• RQ4 確率的（k-DPP）およびグリーディなサブセット選択手法の両方が複数降下曲線を示すか。その場合、スペクトル的構造とどのように整合するか？
• RQ5 RBFカーネルのパラメータを用いてスペクトル的減衰を調整し、実データセット上で複数降下現象を実証的に観測可能か？

主な発見

• 本稿は、急速な特異値減衰を示す行列に対して特に有効な、k+1の最悪ケース保証を上回る新たな上界族（定理1）を確立した。
• 多項式的または指数的特異値減衰を示す行列に対しては、定理2によりk+1よりも著しく良好な近似要因が得られることを示した。
• 複数降下挙動（サブセットサイズkの関数としての近似要因の複数のピークと谷）が、CSSPおよびニーヨームタスクの本質的性質であることを証明する新たな下界（定理3）を提案した。
• k-DPPおよびグリーディなサブセット選択の両方で、実データセット上での複数降下曲線が実証的に観測された。特にRBFカーネルのσを変化させた場合に顕著に現れた。
• 近似要因のピークは、スペクトルの急激な低下と一致しており、スペクトル的構造が性能曲線に直接的な影響を及ぼしていることを確認した。
• スペクトル的減衰が滑らかである場合、複数降下現象は消失し、近似要因は1に近づく。これは、このような行列に対して性能が著しく向上することを示している。