[論文レビュー] Relative concentration bounds for the spectrum of kernel matrices

Ernesto Araya Valdivia|arXiv (Cornell University)|Dec 5, 2018

Random Matrices and Applications参考文献 44被引用数 4

ひとこと要約

本稿は、固有値そのものに比例するスケーリングを用いることで、核行列の個々の固有値に対する相対的集中不等式を確立し、通常のパラメトリックな速度 $\mathcal{O}(n^{-1/2})$ よりも速く、しばしば指数的である収束速度を達成する。この手法は、ネットワーク解析に不可欠な不定（非正定）核に対しても適用可能であり、Sobolev型正則性とスペクトル展開収束を用いることで、古典的なWeyl型不等式よりもきめ細やかな境界をもたらす。

ABSTRACT

In this paper we study the concentration properties for the eigenvalues of kernel matrices, which are central objects in a wide range of kernel methods and, more recently, in network analysis. We present a set of concentration inequalities tailored for each individual eigenvalue of the kernel matrix with respect to its known asymptotic limit. The inequalities presented here are of relative type, meaning that they scale with the eigenvalue in consideration, which results in convergence rates that vary across the spectrum. The rates we obtain here are faster than the typical $Ø(\frac{1}{\sqrt n})$ and are often exponential, depending on regularity assumptions of Sobolev type. One key feature of our results is that they apply to non positive kernels, which is fundamental in the context of network analysis. We show how our results are well suited for the study of dot product kernels, which are related to random geometric graphs on the sphere, via the graphon formalism. We illustrate our results by applying them to a variety of dot product kernels on the sphere and to the one dimensional Gaussian kernel.

研究の動機と目的

• 核行列の個々の固有値に対する、Weylの不等式のような絶対的境界よりもタイトな相対的集中不等式を構築すること。
• 現代のネットワーク解析におけるグラフン形式主義を通じて不可欠な、不定（非正定）核への集中結果の拡張すること。
• 標準的な $\mathcal{O}(n^{-1/2})$ パラメトリック速度を上回る収束速度を達成すること、特にSobolev型正則性のもとで指数的または準指数的収束速度を実現すること。
• 球面上のドット積核と1次元ガウス核の理論的解析を、共通のスペクトル展開収束フレームワークの下で統一すること。
• ヒルベルト空間およびRKHSに基づく手法を、現在正定性を仮定する必要がある不定核へと拡張する基盤を提供すること。

提案手法

• Weyl型の相対的集中不等式を導出する。各固有値の乖離がその大きさに比例する形で、$|\lambda_i(T_W) - \lambda_i(T_n)| \lesssim |\lambda_i| n^{-q}$（$0 < q < 1$）となる。
• 核 $W$ のスペクトル展開を用い、固有値（多項式的または指数的減衰）および固有関数（一様有界性）に正則性条件を課す。
• 3段階のフレームワークを適用する：(1) 積分作用素の切断によるスペクトル近似、(2) 有限ランク近似の摂動解析、(3) 残差行列 $E_R$ の集中性。
• 残差作用素ノルム $\|E_R\|_{\text{op}}$ に行列集中の道具を適用し、一様な固有関数の制御と減衰仮定に基づく境界を導出する。
• 尾部インデックス $[R, \infty) \cap \mathbb{N}$ のパーティショニング戦略を導入し、作用素ノルム推定が粗い場合に集中境界を精緻化する。
• 特にErdős–Rényiグラフンと関連する球面上のドット積核の関係を活用し、実世界のネットワークモデルにおける結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 低次元設定において、核行列固有値の相対的集中不等式は、パラメトリック速度 $\mathcal{O}(n^{-1/2})$ よりも速い収束速度を達成できるか？
• RQ2 このような境界は、ネットワーク解析とグラフンモデリングにおいて一般的な不定核へとどのように拡張可能か？
• RQ3 指数的収束速度を保証するための、固有値および固有関数に必要な正則性仮定は何か？
• RQ4 正定性を仮定しない状況でも、一様なスペクトル展開収束を制御することで、相対誤差境界を実現できるか？
• RQ5 残差行列ノルムが過大評価される場合、特に固有値の減衰が遅い核に対して、集中ステップでどのような改善が可能か？

主な発見

• 本稿は、球面上のドット積核および1次元ガウス核に対して、確率 $1 - \alpha$ 以上で $|\lambda_i(T_W) - \lambda_i(T_n)| \lesssim_{\alpha} e^{-1.6i} n^{-1/2}$ の形の相対的集中境界を確立する。
• 条件 $\text{H}_2$ において $s=0$ かつ $\delta = \log 5$ の場合、収束速度は $O(e^{-1.6i} n^{-1/2})$ となり、固有値インデックス $i$ における指数的減衰を示す。
• 結果は、ロジスティックおよびプロキシミティ・グラフンなど、既存の正定値性に基づく手法ではカバーできない不定核にも適用可能である。
• 固有値の減衰および固有関数の正則性に応じて、標準的な $\mathcal{O}(n^{-1/2})$ 速度を上回る収束が達成され、指数的または準指数的減衰を示す。
• スペクトル展開における点ごとの等価性の欠如に対しても、固有関数の一様な境界と切断に基づく近似を用いることで、ロバストである。
• 本フレームワークは、核作用素の $m$ 重合成へと拡張可能であるが、これは収束速度の劣化を引き起こす可能性があり、一般性とタイトさのトレードオフを示唆する。