[論文レビュー] Data-driven Random Fourier Features using Stein Effect

Wei-Cheng Chang, Chunliang Li+2 more|arXiv (Cornell University)|May 23, 2017

Gaussian Processes and Bayesian Inference参考文献 23被引用数 3

ひとこと要約

本稿では、核近似誤差を低減するためにスティーブン効果を用いたデータ駆動型ランダムフーリエ特徴量重み付け手法を提案する。経験的リスクを最小化するための縮小推定器を用いて非一様重みを学習することで、6つのベンチマークデータセットにおいて、一様重み付きMCおよびQMCベースラインと比較して、核近似および教師あり学習タスクの両方で優れた性能を発揮する。

ABSTRACT

Large-scale kernel approximation is an important problem in machine learning research. Approaches using random Fourier features have become increasingly popular [Rahimi and Recht, 2007], where kernel approximation is treated as empirical mean estimation via Monte Carlo (MC) or Quasi-Monte Carlo (QMC) integration [Yang et al., 2014]. A limitation of the current approaches is that all the features receive an equal weight summing to 1. In this paper, we propose a novel shrinkage estimator from "Stein effect", which provides a data-driven weighting strategy for random features and enjoys theoretical justifications in terms of lowering the empirical risk. We further present an efficient randomized algorithm for large-scale applications of the proposed method. Our empirical results on six benchmark data sets demonstrate the advantageous performance of this approach over representative baselines in both kernel approximation and supervised learning tasks.

研究の動機と目的

• ランダムフーリエ特徴量における一様重みの非最適性を解消する。
• ラベル情報が不要な状態で、経験的リスクを低減するデータ駆動型重み戦略を開発する。
• スティーブン効果を用いた理論的裏付けを提示し、経験的平均推定器よりも優れた推定を実現する。
• 大規模応用に適した効率的なランダム化アルゴリズムを設計する。
• 核近似および教師あり学習タスクの両方において、MC、QMC、ベイジアン・クアドラチャー（BQ）ベースラインと比較して一貫した性能向上を示す。

提案手法

• スティーブン効果を活用し、経験的リスクを最小化する非一様重みを学習する縮小推定器を導出する。
• データ駆動型重みを用いた経験的リスクを最小化する凸最適化問題として核近似を定式化する。
• 最適な重みベクトルを近似するために、O(M)個のデータポイントのみをサンプリングするランダムスケッチベースのソルバーを導入し、スケーラビリティを確保する。
• ベイジアン・クアドラチャー（BQ）を核近似のベースラインとして拡張するが、ハイパーパramータチューニングへの感受性を避けるためにデータ駆動型アプローチを採用する。
• 比較のため、一様重み付きMCおよび準モンテカルロ（QMC）法をベースラインとして使用する。
• ボッハナーの定理を用いてシフト不変核に適用することで、効率的な特徴生成と重み学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ランダムフーリエ特徴量に対するデータ駆動型重み戦略は、一様重みと比較して核近似誤差を低減できるか？
• RQ2 スティーブン効果は、核近似における最適特徴量重みの学習を理論的に正当化する枠組みを提供するか？
• RQ3 本手法は、MC、QMC、BQベースラインと比較して、核近似および下流の教師あり学習タスクにおいて、どのように性能を発揮するか？
• RQ4 ランダム化ソルバーの計算効率は大規模設定においてどうであるか？収束に必要なサンプル数はどの程度か？
• RQ5 非一様特徴量重みは、異なるデータセットおよび特徴量数において、一様重みと比較して経験的リスクをどの程度低減するか？

主な発見

• 提案されたスティーブン効果縮小（SES）推定器は、6つのベンチマークデータセットにおいて、一様重み付きMCおよびQMC法と比較して核近似誤差を一貫して低減する。
• SESは、分類および回帰の大多数の教師あり学習タスクで、最良のベースラインと同等またはそれを上回る性能を示し、改善された核近似の転送性を確認する。
• ランダム化ソルバーは、安定的かつ正確な重み推定を達成するため、必要なランダム特徴量数（M）の2〜4倍のデータをサンプリングするだけで十分であり、理論的スケーラビリティを裏付ける。
• ランダム特徴量数を増加させると（M = 32 から 512 へ）、SESおよびBQにおける学習済み重みの分布は一様に収束し、バイアス・バリアンストレードオフ理論と整合する。
• SESにおける非一様な縮小重みは、一様重みよりも顕著に低い経験的リスクを実現し、データ駆動型適応の利点を確認する。
• ベイジアン・クアドラチャー（BQ）は、サンプリングデータサイズの変化に対して一貫性のない性能を示し、ハイパーパramータチューニングに対して非常に感受性が高く、本手法とは対照的である。