[論文レビュー] Quasi-Monte Carlo Feature Maps for Shift-Invariant Kernels

Haim Avron, Vikas Sindhwani+2 more|arXiv (Cornell University)|Dec 29, 2014

Mathematical Approximation and Integration参考文献 35被引用数 65

ひとこと要約

本稿では、シフト不変カーネルの特徴マップを構築する際に、モンテカルロサンプリングの代わりに準モンテカルロ（QMC）系列を用いることを提案し、近似精度と収束速度を顕著に向上させている。新たなボックス不一致測度を最小化することで、積分誤差を低減し、カーネル近似における収束速度を向上させ、理論的・実践的に標準的な確率的特徴マップを上回っている。

ABSTRACT

We consider the problem of improving the efficiency of randomized Fourier feature maps to accelerate training and testing speed of kernel methods on large datasets. These approximate feature maps arise as Monte Carlo approximations to integral representations of shift-invariant kernel functions (e.g., Gaussian kernel). In this paper, we propose to use Quasi-Monte Carlo (QMC) approximations instead, where the relevant integrands are evaluated on a low-discrepancy sequence of points as opposed to random point sets as in the Monte Carlo approach. We derive a new discrepancy measure called box discrepancy based on theoretical characterizations of the integration error with respect to a given sequence. We then propose to learn QMC sequences adapted to our setting based on explicit box discrepancy minimization. Our theoretical analyses are complemented with empirical results that demonstrate the effectiveness of classical and adaptive QMC techniques for this problem.

研究の動機と目的

• 大規模なカーネル手法に用いられるシフト不変カーネルのための確率的特徴マップの効率と精度を向上させること。
• 積分誤差を低減するため、従来のモンテカルロサンプリングに代えて準モンテカルロ（QMC）系列を導入すること。
• QMCベースの特徴マップ構築における積分誤差に特化した新たな不一致測度「ボックス不一致」を導入すること。
• 特定のカーネル関数に対してより優れた性能を発揮するよう、ボックス不一致の最小化により適応的QMC系列を学習すること。
• 理論的および実験的に、QMCベースの特徴マップがモンテカルロ対比で収束が速く、誤差が小さいことを示すこと。

提案手法

• シフト不変カーネルの積分表現に対する準モンテカルロ（QMC）近似を提案し、モンテカルロサンプリングの代わりに低不一致系列を用いる。
• カーネル近似における積分誤差の理論的特性に基づいて導出された、新たな不一致測度「ボックス不一致」を導入する。
• QMC系列の期待二乗ボックス不一致の閉形式表現を導出し、最適化に基づく系列学習を可能にする。
• ボックス不一致の最小化により適応的QMC系列を学習する手法を提案し、特定のカーネル関数における収束性を向上させる。
• ガウスカーネルを含むシフト不変カーネルのための特徴マップを構築し、近似誤差に関する理論的保証を提供する。
• 複素数値特徴マップを用い、ボッハナー表現を活用してカーネル関数とフーリエ変換を結びつける。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロサンプリングと比較して、準モンテカルロ（QMC）系列を用いることで、シフト不変カーネルの確率的特徴マップ構築における積分誤差を低減できるか？
• RQ2 カーネル近似の文脈においてQMC系列を評価するのに適した不一致測度は何か？ そして、その測度はどのように最小化できるか？
• RQ3 既存の不一致測度と比較して、提案されたボックス不一致測度は、カーネル特徴マップの積分誤差をどの程度うまくバインドできるか？
• RQ4 ボックス不一致の最小化により学習された適応的QMC系列は、カーネル近似の収束速度と精度を向上させることができるか？
• RQ5 確率的特徴マップにおいてモンテカルロをQMCに置き換えることで、トレーニングおよびテストの速度と精度にどの程度の実験的向上が得られるか？

主な発見

• 提案されたQMCベースの特徴マップは、乱雑サンプリングの代わりに低不一致系列を用いることで、モンテカルロ法よりも低い積分誤差を達成している。
• ボックス不一致の導入により、カーネル近似におけるQMC系列の評価に理論的根拠を持つ測度が得られ、期待二乗不一致の閉形式表現も得られた。
• ボックス不一致の最小化により学習された適応的QMC系列は、古典的QMC系列およびモンテカルロサンプリングを上回り、収束速度と近似精度の両面で優れている。
• 実験的結果から、QMCベースの特徴マップはモンテカルロ対比で同等またはより高いテスト精度を達成し、必要なランダム特徴数を削減できることが示された。
• 与えられた近似誤差に対して必要なランダム特徴数を削減でき、大規模なカーネル手法におけるトレーニングおよび予測時間の短縮に寄与した。
• 理論的分析により、QMC近似の期待二乗誤差が $O(1/s)$ のレートで減少することが示され、モンテカルロのレートと一致するが、低不一致のため定数が小さい。