[論文レビュー] Fast DPP Sampling for Nyström with Application to Kernel Methods

Chengtao Li, Stefanie Jegelka+1 more|arXiv (Cornell University)|Mar 19, 2016

Markov Chains and Monte Carlo Methods参考文献 46被引用数 36

ひとこと要約

本稿では、カーネル法におけるNyström近似の精度を向上させるために、多様性があり情報量の多いランドマークを選択するためのDpp-Nyströmを提案する。この手法は、決定的ポイントプロセス（DPPs）を用いたランドマーク選択法であり、DPPを用いた高速ギブスサンプリングを導入することで、特定の条件下で線形時間計算量を達成し、最先端の手法と比較して優れた時間-誤差トレードオフを実現する。

ABSTRACT

The Nyström method has long been popular for scaling up kernel methods. Its theoretical guarantees and empirical performance rely critically on the quality of the landmarks selected. We study landmark selection for Nyström using Determinantal Point Processes (DPPs), discrete probability models that allow tractable generation of diverse samples. We prove that landmarks selected via DPPs guarantee bounds on approximation errors; subsequently, we analyze implications for kernel ridge regression. Contrary to prior reservations due to cubic complexity of DPPsampling, we show that (under certain conditions) Markov chain DPP sampling requires only linear time in the size of the data. We present several empirical results that support our theoretical analysis, and demonstrate the superior performance of DPP-based landmark selection compared with existing approaches.

研究の動機と目的

• カーネル法におけるNyström近似の精度を向上させるために、ランダムまたはヒューリスティックなランドマーク選択を、決定的ポイントプロセス（DPPs）を用いた多様性を考慮したサンプリングに置き換える。
• 従来、立方時間計算量に苦しむDPPサンプリングの長年のスケーラビリティの懸念に対処するため、DPPのための高速ギブスサンプラーを提案する。
• 理論的および実験的に、Dppに基づくランドマーク選択が、低ランク行列近似における相対誤差の tighter 界をもたらし、カーネルリッジ回帰におけるリスク境界を改善することを検証する。
• 提案された反復的ギブスサンプラーが、弱い条件下でもk-DPPsの線形時間計算量で収束することを示し、大規模応用を可能にする。
• 既存のランドマーク選択手法（リッジスコアサンプリングやK-meansベースの手法を含む）と比較して、Dpp-Nyströmが優れた時間-誤差トレードオフを達成することを示す。

提案手法

• 本手法は、k-決定的ポイントプロセス（k-DPP）を用いて、データから多様性のあるランドマークのサブセットをサンプリングし、選択されたカーネル行列の列が代表的かつ相関のないものであることを保証する。
• DPPサンプリングは、1回の反復で1つのランドマークを再サンプリングするギブスマルコフ連鎖モンテカルロ（MCMC）サンプラーにより実装され、目的のDPP分布からのサンプルを生成する。
• パスカップリングを用いた混合時間の解析により、特定の条件下（特にパrameter α < 1 のとき）で、この連鎖がO(N)イテレーションで混合することが示され、線形時間計算量のサンプリングが実現することが示唆される。
• 本手法は、カーネル行列の特徴多項式を活用し、Nyström近似の相対的フロベニウスノルム誤差およびスペクトルノルム誤差に対する理論的境界を導出する。
• カーネルリッジ回帰においては、Dppサンプリング分布の下で期待値として成り立つリスク境界を導出し、一般化性能の向上を示す。
• 実験的評価では、Dpp-Nyströmを、リッジスコアサンプリング（Lev, RegLev）、K-means Nyström、および適応的サンプリングの両方の正確および近似バージョンと比較する。

実験結果

リサーチクエスチョン

• RQ1 DPPに基づくランドマーク選択は、一様またはヒューリスティックなサンプリングと比較して、Nyström近似において証明可能なよりtightな相対誤差境界を達成できるか？
• RQ2 ランドマーク選択におけるDPPの使用は、カーネルリッジ回帰における一般化性能の向上に寄与するか？ その向上はリスク境界によって定量的に示せるか？
• RQ3 大規模なカーネル法において、DPPサンプリングの立方時間計算量の問題を実用的に克服できるか？ また、k-DPPsのギブスサンプラーがどのような条件下で線形時間収束を達成するか？
• RQ4 提案されたギブスサンプラーの時間-誤差トレードオフは、近似リッジスコアサンプリングやK-meansベースの手法と比較して、どのように評価されるか？
• RQ5 Dpp-Nyströmの実験的性能は、さまざまなデータセットおよびカーネル帯域幅においても、近似精度および実行効率の面で一貫して高いか？

主な発見

• AileronsおよびCalifornia Housingデータセットにおいて、一様サンプリングや他のヒューリスティック手法と比較して、Dpp-Nyströmはフロベニウスノルムおよびスペクトルノルムの両方で顕著に低い相対近似誤差を達成し、実験的に誤差低減が観測された。
• 理論的解析により、Dppに基づくランドマーク選択が、カーネル行列の特徴多項式に依存する相対誤差境界を保証することが示され、以前の研究（ランドマーク数をターゲットランクに固定）を一般化するものである。
• パrameter α < 1 の条件下で、k-DPPsのギブスサンプラーがO(N)時間で混合することが証明され、実データセットにおいても実証的に確認された。特に帯域幅が小さいカーネルにおいて顕著に成立した。
• 実験的結果から、ギブスサンプラーは急速に収束し、最初の数百分のイテレーション内で近似誤差が急激に低下し、その後は僅かに変動するのみで、大規模Nに対しても高速な混合を示した。
• Ailerons（N=4,000）およびCalifornia Housing（N=12,000）データセットにおいて、Dpp-Nyströmは、評価されたすべての手法の中で最良の時間-誤差トレードオフを達成し、近似リッジスコアサンプリングやK-means Nyströmでさえも、大規模データにおいて精度と効率の両面で上回った。
• α > 1 の場合でも本手法は有効であることが示され、理論的境界が保守的であり、ギブスサンプラーが混合時間解析で予測された範囲よりも広く適用可能である可能性を示唆した。