[論文レビュー] Fast Learning in Reproducing Kernel Krein Spaces via Signed Measures

Fanghui Liu, Xiaolin Huang+2 more|arXiv (Cornell University)|May 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 63被引用数 5

ひとこと要約

この論文は、符号付き測度フレームワークを導入することで、非正定値（非PD）カーネルが2つの正定値（PD）カーネルの差に分解可能かどうかという長年の未解決問題を解決した。測度分解を用いて、そのような正の分解が可能であるための十分かつ必要十分条件を提示し、非PDカーネルに対する最初のバイアスのないランダム特徴量アルゴリズムを実現した。このアルゴリズムは大規模データセットに対しても効率的にスケーリングでき、分類精度において既存手法を上回った。

ABSTRACT

In this paper, we attempt to solve a long-lasting open question for non-positive definite (non-PD) kernels in machine learning community: can a given non-PD kernel be decomposed into the difference of two PD kernels (termed as positive decomposition)? We cast this question as a distribution view by introducing the \emph{signed measure}, which transforms positive decomposition to measure decomposition: a series of non-PD kernels can be associated with the linear combination of specific finite Borel measures. In this manner, our distribution-based framework provides a sufficient and necessary condition to answer this open question. Specifically, this solution is also computationally implementable in practice to scale non-PD kernels in large sample cases, which allows us to devise the first random features algorithm to obtain an unbiased estimator. Experimental results on several benchmark datasets verify the effectiveness of our algorithm over the existing methods.

研究の動機と目的

• 機械学習分野における長年の未解決問題である、与えられた不定（非PD）カーネルが2つの正定値カーネルの差に分解可能かどうかを解明すること。
• 大規模な学習シナリオにおける非PDカーネルの近似に計算的に効率的かつスケーラブルな手法を開発すること。
• 正の分解問題を測度分解問題に変換する理論的根拠に基づいた、確率分布に基づくフレームワークを提供すること。
• 非PDカーネルに対する最初のバイアスのないランダム特徴量アルゴリズムを設計し、カーネル近似において一貫した推定が可能であることを保証すること。
• 線形SVM分類を用いて、ベンチマークデータセット上で提案手法の有効性を検証すること。

提案手法

• 符号付き測度の概念を導入し、ボレル測度を一般化することで負の重みを許容し、正の分解問題を測度分解問題に再定式化する。
• 符号付き測度表現を用いて、非PDカーネルが正の分解を許容するための十分かつ必要十分条件を確立する。
• 測度分解に基づく確率的特徴量マップを導出し、カーネル近似の不偏推定を可能にする。
• 球面多項式およびその他の径数的カーネルに関連する複雑で標準的でない測度からのサンプリングに、リジェクションサンプリングと重要度サンプリングの技術を適用する。
• 近似精度を向上させつつ計算可能性を維持するため、直交モンテカルロサンプリングを採用する。
• ランダム特徴量マップを線形SVM分類器の入力として使用し、5-fold交差検証を用いてハイパーパramータチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 すべての不定カーネルが2つの正定値カーネルの差に分解可能であり、その場合の条件は何か？
• RQ2 確率分布に基づくフレームワークを用いて、非PDカーネルに対するバイアスのないランダム特徴量近似を構築することは可能か？
• RQ3 提案手法は、高い近似精度を維持しながら、大規模データセットにどのように効率的にスケーリングできるか？
• RQ4 ベンチマークデータセットにおける非PDカーネルに対して、提案手法の性能は既存手法と比べてどうか？
• RQ5 重要度サンプリングや直交モンテカルロなど、異なるサンプリング戦略が近似誤差と計算コストに与える影響は何か？

主な発見

• 提案された符号付き測度フレームワークは、不定カーネルの正の分解が可能であるための十分かつ必要十分条件を提供し、カーネル学習分野における長年の理論的ギャップを解消した。
• この手法により、非PDカーネルに対する最初のバイアスのないランダム特徴量近似が実現され、カーネル近似において一貫した推定が可能になった。
• letterデータセットでは、多項式カーネル次数（p=1, p=3）に関わらず、ベースライン手法よりも低い近似誤差を達成した。特に直交モンテカルロが最も低い誤差を記録したが、計算コストは高かった。
• cod-RNAデータセットでは、特徴次元数に関係なくすべての手法が類似した精度を示したが、提案手法は他のデータセット、特に高次元特徴マップにおいても優れた性能を維持した。
• ランダム化特徴量マップの生成にかかる計算コストは、O(ns²)の時間とO(ns)のメモリを要し、標準的なRFFと同等のスケーリング特性を示した。虚数部のわずかなオーバーヘッドを除けば、ほぼ同等の性能であった。
• 重要度サンプリングは計算コストを削減しつつ、近似性能の損失を最小限に抑え、リッジレバレッジスコアを組み合わせると、レバレッジスコアに基づくサンプリング手法と整合した。