[論文レビュー] Random Fourier Features for Operator-Valued Kernels

Romain Brault, Florence d’Alché–Buc+1 more|arXiv (Cornell University)|May 9, 2016

Stochastic Gradient Optimization Techniques参考文献 30被引用数 6

ひとこと要約

本稿では、スケーラブルなベクトル値学習のための作用素値カーネル（OVK）を近似するための演算子ランダムフーリエ特徴（ORFF）を導入する。シフト不変なOVKに対してボッハナーの定理を一般化することで、行列濃度不等式を用いて真のカーネルに一様に収束する明示的なランダム特徴マップを構築し、線形モデルを用いた大規模なマルチタスク学習および構造的出力学習を効率的に行えるようにする。

ABSTRACT

Devoted to multi-task learning and structured output learning, operator-valued kernels provide a flexible tool to build vector-valued functions in the context of Reproducing Kernel Hilbert Spaces. To scale up these methods, we extend the celebrated Random Fourier Feature methodology to get an approximation of operator-valued kernels. We propose a general principle for Operator-valued Random Fourier Feature construction relying on a generalization of Bochner's theorem for translation-invariant operator-valued Mercer kernels. We prove the uniform convergence of the kernel approximation for bounded and unbounded operator random Fourier features using appropriate Bernstein matrix concentration inequality. An experimental proof-of-concept shows the quality of the approximation and the efficiency of the corresponding linear models on example datasets.

研究の動機と目的

• マルチタスク学習および構造的出力学習における大規模データセット上での作用素値カーネル（OVK）手法の計算的非実行可能性に対処すること。
• ランダムフーリエ特徴（RFF）フレームワークを作用素値カーネルに拡張し、OVKの効率的近似を可能にすること。
• 行列濃度不等式を用いて、有界および非有界のOVKの両方に対してORFF近似の理論的一様収束を確立すること。
• 実際および合成のベクトル値学習タスクにおいて、ORFFベースのモデルの実用的スケーラビリティと性能を示すこと。

提案手法

• スペクトル測度を用いて、シフト不変な作用素値カーネルの確率的表現を導出するため、ボッハナーの定理を一般化する。
• OVKのスペクトル測度からサンプリングすることで、明示的なORFFマップを構築し、ランダム特徴射影によりカーネルの線形化を実現する。
• ベーツァイン型の行列濃度不等式を適用し、有界および非有界の両方のカーネルに対して、ORFF近似が真のOVKに一様に収束することを証明する。
• 標準的なリッジ回帰を用いて、$ \tilde{\phi}(x) \in \mathbb{R}^D \otimes \mathcal{Y} $ のランダム特徴マップを活用し、$ \langle \tilde{\phi}(x), \tilde{\phi}(x') \rangle \approx K(x,x') $ となるようにする。ここで $ K $ はOVKを表す。
• ORFF特徴マップを用いた標準的なリッジ回帰により、大規模データセット上での線形モデルの効率的学習を実現する。
• 交差検証を用いて $ \lambda $ および $ \sigma $ のチューニングを行い、MNISTおよび合成2次元ベクトル場データセットで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 ランダムフーリエ特徴フレームワークを作用素値カーネルに一般化することで、ベクトル値再生核ヒルベルト空間におけるスケーラブルな学習を可能にできるか？
• RQ2 有界および非有界の作用素値カーネルの両方に対して、ORFF近似の理論的収束挙動はいかなるものか？
• RQ3 大規模データセット上での予測誤差および学習時間の観点から、ORFFベースのモデルは正確なOVK手法と比較してどの程度の性能を示すか？
• RQ4 ORFFは、合成的および現実世界の設定において、curl-free または divergence-free なベクトル場のような構造的出力依存関係を効果的に捉えることができるか？

主な発見

• 新規の行列濃度不等式を用いて、有界および非有界の両方のカーネルに対して、ORFF近似が真の作用素値カーネルに一様に収束することが証明された。
• MNISTデータセットにおいて、$ D = 1000 $ 個のフーリエ特徴を使用した場合、ORFFモデルは正確なOVKモデルと同等の予測誤差を達成した。
• ORFFモデルは正確なOVKよりも著しくスケーラブルである：$ N = 10^5 $ においてもORFFの学習時間は100秒未満で、$ N > 10^4 $ ではOVKの学習時間が1000秒を超えた。
• 合成2次元ベクトル場データにおいて、curl-free ORFFモデルは標準的なRFFよりも優れた性能を示し、ノイズフロアに早く収束し、ベクトル場の構造をよりよく捉えた。
• 本手法により、正確なOVKと比較して精度の損失を最小限に抑えつつ、ベクトル場などの構造的出力の効率的学習が可能になった。
• 本フレームワークにより、高価なカーネル行列演算を線形特徴マップに置き換えることで、大規模データセット上でのOVKの実用的導入が可能になった。