[論文レビュー] Stochastic Low-Rank Kernel Learning for Regression

Pierre Machart, Thomas Peel+3 more|arXiv (Cornell University)|Jan 11, 2012

Face and Expression Recognition参考文献 12被引用数 8

ひとこと要約

本稿では、回帰のための確率的低ランクカーネル学習手法を提案する。この手法は、カーネル行列のデータ駆動型ランク1 Nyström近似の錐型結合を構築する。新たな確率的凸最適化手順により結合重みを最適化することで、収束が保証され、メモリ効率が良く、学習タスクに適応したカーネルを提供する。実験では、ベンチマークデータセット上で競争力のある性能を達成した。

ABSTRACT

We present a novel approach to learn a kernel-based regression function. It is based on the useof conical combinations of data-based parameterized kernels and on a new stochastic convex optimization procedure of which we establish convergence guarantees. The overall learning procedure has the nice properties that a) the learned conical combination is automatically designed to perform the regression task at hand and b) the updates implicated by the optimization procedure are quite inexpensive. In order to shed light on the appositeness of our learning strategy, we present empirical results from experiments conducted on various benchmark datasets.

研究の動機と目的

• カーネル手法におけるカーネル選択の課題に対処するため、データベースのランク1近似の錐型結合を通じてタスク固有のカーネルを学習すること。
• 完全なグラム行列を格納できない大規模データセットにおける効率的な回帰を可能にすること。
• カーネル結合重みを学習するための計算効率が良く、収束が保証される確率的最適化手順を開発すること。
• 標準的な回帰および分類ベンチマークデータセットにおいて、提案手法の有効性とスケーラビリティを示すこと。

提案手法

• 訓練データポイントから導出されるランク1 Nyström近似を用い、$\tilde{K}_m = \mathbf{c}_m \mathbf{c}_m^T$ で定義する。ここで $\mathbf{c}_m$ は完全なグラム行列の正規化されたカーネル列である。
• 非負の重み $\mu_m$ を用いて、$\tilde{K}(\boldsymbol{\mu}) = \sum_{m \in \mathcal{S}} \mu_m \tilde{K}_m$ というパラメータ化されたカーネル行列を構築し、低ランクカーネルの錐型結合を形成する。
• カーネルは、$\langle \phi(\mathbf{x}), \phi(\mathbf{x}') \rangle_A = \phi(\mathbf{x})^T A \phi(\mathbf{x}')$ という修正された内積により暗黙的に定義される。ここで $A = \sum_{m \in \mathcal{S}} \mu_m \frac{\phi(\mathbf{x}_m)\phi(\mathbf{x}_m)^T}{k(\mathbf{x}_m, \mathbf{x}_m)}$ である。
• Nesterovの手法に基づく確率的最適化手順を開発し、2次情報を利用した座標ごとの重み更新を実施し、収束保証を確保する。
• 必要なカーネル列をオンザフライで計算することで完全なグラム行列の格納を回避し、更新に効率的な行列逆行列公式を用いる。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型ランク1 Nyström近似の錐型結合は、回帰のためのタスク固有カーネルを効果的に学習できるか？
• RQ2 計算コストが低く、収束が保証される最適化手順を、カーネル結合重みの学習に向け設計できるか？
• RQ3 完全なカーネル手法と比較して、大幅にメモリ使用量を削減しながらも、良好な一般化性能を維持できるか？
• RQ4 本手法は大規模データセットにどのようにスケーリングできるか。また、選択された基底点の数 $M$ が性能に与える影響は何か？

主な発見

• USPSデータセットでは、$M=64$ の設定で提案手法SLKLが76.3 ± 9.9の誤差を達成し、同条件でのベースライン手法を上回り、Nyst（101.3 ± 22.9の誤差）と比較しても競争力のある性能を示した。これは回帰を目的として設計されたが、分類タスクでも有効であることを示唆している。
• $M=256$ の場合、テスト誤差は47.6 ± 3.1に低下し、$M=1024$ の場合、41.5 ± 3.9にまで改善された。これにより、より多くの基底点を用いることで一貫した性能向上が確認された。
• 大規模なMNISTデータセットでは、$M=1000$ の設定で分類誤差率が約2%にまで低下し、回帰を目的として設計されたが、大規模問題への適用可能性が示された。
• 本手法は完全なグラム行列の格納を効果的に回避し、効率的な最適化を可能にしたが、ゼロ重み更新による計算オーバーヘッドは依然として制限要因である。
• 重みベクトル $\boldsymbol{\mu}$ に $L^1$ ノルム制約を課すとリッジ正則化と関連づけられ、一般化誤差の境界付けに応用可能である可能性が示唆された。