[論文レビュー] Simple and Almost Assumption-Free Out-of-Sample Bound for Random Feature Mapping

Shusen Wang|arXiv (Cornell University)|Sep 24, 2019

Gaussian Processes and Bayesian Inference参考文献 35被引用数 4

ひとこと要約

本稿は、カーネルリッジ回帰におけるランダム特徴マッピング（RFM-KRR）に対して、仮定を一切含まない外挿予測誤差の上限を確立し、ランダム特徴マッピングにやや弱いが検証可能な仮定が満たされていれば、予測が正確なKRRの結果に $ 1/s $ のレートで収束することを示している。この上限は、一致する下限と実験的検証によってほぼ最適であることが確認されており、複数のデータセットとカーネルに対して有効である。

ABSTRACT

Random feature mapping (RFM) is a popular method for speeding up kernel methods at the cost of losing a little accuracy. We study kernel ridge regression with random feature mapping (RFM-KRR) and establish novel out-of-sample error upper and lower bounds. While out-of-sample bounds for RFM-KRR have been established by prior work, this paper's theories are highly interesting for two reasons. On the one hand, our theories are based on weak and valid assumptions. In contrast, the existing theories are based on various uncheckable assumptions, which makes it unclear whether their bounds are the nature of RFM-KRR or simply the consequence of strong assumptions. On the other hand, our analysis is completely based on elementary linear algebra and thereby easy to read and verify. Finally, our experiments lend empirical supports to the theories.

研究の動機と目的

• データやカーネル関数に関する検証不能な仮定に依存しない、RFM-KRRの一般化上限を提供すること。
• ランダム特徴マッピングに関する弱く検証可能な仮定のみを用いて、RFM-KRRの外挿予測誤差に対するタイトな上界を確立すること。
• 上界がほぼ最適であることを示すために、一致する下界を確立すること。
• 複数のデータセットとカーネルタイプ（RBF、ラプラス）において理論的結果を実証的に検証すること。
• 読みやすく、検証しやすい、理論的根拠に基づいた単純な線形代数に基づく解析を提供すること。

提案手法

• 解析は単純な線形代数と確率的行列理論を用い、RFM-KRRと正確なKRRの予測間の期待二乗誤差に対する上界を導出する。
• 主な上界は $ \frac{1}{s} \left\| \mathbf{K}^{1/2} (\mathbf{K} + n\lambda \mathbf{I}_n)^{-1} \mathbf{y} \right\|_2^2 $ として表現され、ここで $ s $ はランダム特徴の数を表す。
• 上界は、ランダム特徴マッピングが不偏かつ有界であるという仮定の下で導出されており、これはランダムフーリエ特徴やランダムサイン特徴といった一般的な手法が満たす条件である。
• 上界にほぼ一致する下界が確立され、結果の理論的タイトさが裏付けられている。
• 実証的検証では、実データセット（MSD、Cadata、Cpusmall、Covtype）に対して繰り返しランダム特徴マッピングを実施し、$ s $ と MSE の関係を測定し、理論的上限と比較した。
• さまざまな $ n $ と $ \lambda $ に対して、理論的上限と実測MSEの比を計算し、タイトさを示した。

実験結果

リサーチクエスチョン

• RQ1 RFM-KRRの一般化上限は、データやカーネル関数に関する強い検証不能な仮定に依存せずに導出可能か？
• RQ2 ランダム特徴の数 $ s $ に対して、RFM-KRRの予測が正確なKRRの予測にどの程度のレートで収束するか？
• RQ3 提案された外挿誤差に対する上界は近似的に最適か？
• RQ4 実世界のデータセットにおける理論的上限と実測誤差の間のタイトさはどの程度か？
• RQ5 理論的解析は単純で、線形代数に基づいて保たれ、読みやすさと検証可能性を確保できるか？

主な発見

• RFM-KRRの外挿予測誤差は、定理1が予測するように、$ \frac{1}{s} $ のレートで正確なKRRの誤差に収束する。
• 平均二乗誤差の上界は $ \frac{1}{s} \left\| \mathbf{K}^{1/2} (\mathbf{K} + n\lambda \mathbf{I}_n)^{-1} \mathbf{y} \right\|_2^2 $ であり、一致する下限があるため、ほぼ最適である。
• 実験的結果は、複数のデータセットとカーネルタイプにおいて $ \frac{1}{s} $ の収束レートを確認しており、外挿された上限が実際のMSEと密接に一致している。
• 理論的上限は、特に $ \lambda \geq \frac{1}{\sqrt{n}} $ の場合、真の誤差を著しく過大評価しないことが示され、強いタイトさを示している。
• 解析は、ランダム特徴マッピングが不偏かつ有界であるという検証可能な仮定のみに依存しており、結果は広く適用可能である。
• 理論的フレームワーク全体が単純な線形代数に依存しており、複雑な確率的行列理論を用いる先行研究と比較して、明確さと検証可能性が向上している。