[論文レビュー] Scalable Learning in Reproducing Kernel Krein Spaces

Dino Oglić, Thomas Gärtner|Repository@Nottingham (University of Nottingham)|Sep 6, 2018

Model Reduction and Neural Networks被引用数 9

ひとこと要約

本稿は、不定核行列の低ランク近似に用いるニストローム法の、数学的に完全な導出を初めて提示する。これにより、再生成核クレイン空間におけるスケーラブルな学習が可能になる。効率的な近似固有値分解法と、核リッジ回帰、サポートベクターマシン、分散制約付きリッジ回帰の新規な低ランクバージョンを導入し、大規模な分類タスクにおける構造的・ベクトル表現データにおいて、計算コストを顕著に削減しながらも、高い精度を維持する。

ABSTRACT

We provide the first mathematically complete derivation of the Nyström method for low-rank approximation of indefinite kernels and propose an efficient method for finding an approximate eigendecomposition of such kernel matrices. Building on this result, we devise highly scalable methods for learning in reproducing kernel Kre\uın spaces. The devised approaches provide a principled and theoretically well-founded means to tackle large scale learning problems with indefinite kernels. The main motivation for our work comes from problems with structured representations (e.g., graphs, strings, time-series), where it is relatively easy to devise a pairwise (dis)similarity function based on intuition and/or knowledge of domain experts. Such functions are typically not positive definite and it is often well beyond the expertise of practitioners to verify this condition. The effectiveness of the devised approaches is evaluated empirically using indefinite kernels defined on structured and vectorial data representations.

研究の動機と目的

• 大規模な機械学習問題における不定核に対する理論的に整合性があり、スケーラブルな手法の欠如に取り組む。
• 従来、正定値核にのみ用いられていたニストローム法を、数学的に厳密に不定核行列へと拡張する。
• 構造的データ表現から得られる核行列に対する、効率的な低ランク近似と近似固有値分解を開発する。
• 再生成核クレイン空間に特化した、スケーラブルな核リッジ回帰、サポートベクターマシン、分散制約付きリッジ回帰の変種を考案する。
• 提案手法の有効性を、さまざまな不定核を用いた実世界のデータセット上で評価する。

提案手法

• 先行研究で用いられる固有関数近似における正確な等価性の仮定を避けるために、幾何的アプローチを用いて不定核に対するニストローム法を導出する。
• 不定核行列の近似固有値分解を効率的に行う新規なアルゴリズムを提案し、最大で 3m²n + 3m³ FLOPs の計算量を要する。これは先行手法の 7m²n + 2m³ FLOPs よりも少ない。
• ニストローム近似における2つの最先端のランドマーク選択戦略（クラスタリングとレバレッジスコアサンプリング）を、不定核設定に適応する。
• 再生成核クレイン空間における核リッジ回帰およびサポートベクターマシンの低ランクバージョンを開発し、スケーラブルな分類を実現する。
• 不定核設定における一般化性能の向上を目的として、分散制約付きリッジ回帰の低ランクバージョンを導入する。
• クレインサポートベクターマシンとフラップスペクトルカーネル法との間の理論的関連性を確立し、本手法の妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 ニストローム法は不定核行列へ厳密に拡張可能であり、その正しい数学的定式化は何か？
• RQ2 不定核行列の効率的な近似固有値分解はどのように計算可能か？ また、既存手法と比較して計算量の複雑度はどのようになるか？
• RQ3 核リッジ回帰やサポートベクターマシンのようなスケーラブルな学習手法は、再生成核クレイン空間において効果的に定式化可能か？
• RQ4 クラスタリングやレバレッジスコアサンプリングのようなランドマーク選択戦略は、不定核近似の文脈でどの程度有効か？
• RQ5 提案手法の低ランクバージョンは、実世界のデータセットにおける分類精度と近似品質の観点で、実証的にどの程度の性能を示すか？

主な発見

• 10⁶×10⁶ の核行列を 10³ 個のランドマークで近似する場合、提案手法の近似固有値分解は、先行手法と比較して 3×10¹² FLOPs 少ない計算量を要する。
• 導出されたニストローム法は数学的に完全であり、先行研究とは異なり、固有関数近似における正確な等価性の仮定に依存しない。
• 核リッジ回帰およびサポートベクターマシンの低ランクバージョンは、さまざまな不定核を用いた15のベンチマークデータセットにおいて、競争力のある分類精度を達成する。
• 実験結果から、提案手法は不定核行列を効果的に近似し、10-fold 交差検証において低分類誤差を維持していることが示された。
• 理論的分析により、正定値核に有効なランドマーク選択戦略が、不定核行列と同一固有空間を持つフラップスペクトル行列に対しても適用可能であることが確認された。
• 本手法は、従来のヒューリスティック手法に起因する制限を克服する、原理的かつ理論的根拠に基づいた大規模な不定核学習のフレームワークを提供する。