[論文レビュー] Inductive Kernel Low-rank Decomposition with Priors: A Generalized Nystrom Method

Kai Zhang, Liang Lan+3 more|arXiv (Cornell University)|Jun 18, 2012

Sparse and Compressive Sensing Techniques参考文献 21被引用数 5

ひとこと要約

本稿では、一般化されたニストルム法を用いて、一般化可能な新しいデータへの適用を可能にする帰納的で事前知識を考慮した低ランクカーネル分解手法を提案する。この手法により、一般化性能を保ちつつ、計算効率が高くスケーラブルなカーネル学習が実現される。柔軟で非パrametricな構造を導入し、クラスラベルなどの補助情報も組み込むことで、線形時間および空間計算量を維持しながら高い精度を達成し、推論の効率性とタスク固有の性能において、従来の推論型および非教師あり手法を上回る。

ABSTRACT

Low-rank matrix decomposition has gained great popularity recently in scaling up kernel methods to large amounts of data. However, some limitations could prevent them from working effectively in certain domains. For example, many existing approaches are intrinsically unsupervised, which does not incorporate side information (e.g., class labels) to produce task specific decompositions; also, they typically work "transductively", i.e., the factorization does not generalize to new samples, so the complete factorization needs to be recomputed when new samples become available. To solve these problems, in this paper we propose an"inductive"-flavored method for low-rank kernel decomposition with priors. We achieve this by generalizing the Nyström method in a novel way. On the one hand, our approach employs a highly flexible, nonparametric structure that allows us to generalize the low-rank factors to arbitrarily new samples; on the other hand, it has linear time and space complexities, which can be orders of magnitudes faster than existing approaches and renders great efficiency in learning a low-rank kernel decomposition. Empirical results demonstrate the efficacy and efficiency of the proposed method.

研究の動機と目的

• 既存の低ランクカーネル分解手法は通常推論型かつ非教師ありであるため、その限界を克服し、新しいデータへの一般化を可能にするとともに、タスク固有の補助情報を統合すること。
• 大規模データセットへのスケーラビリティを確保しつつ、線形時間および空間計算量を維持する帰納的推論を可能にする手法の開発。
• ニストルム法を一般化し、低ランク因子化プロセスに事前分布（例：クラスラベル）を埋め込むことで、タスク固有の性能向上を実現すること。
• 大規模機械学習におけるカーネル手法の計算効率と予測精度のバランスを図ること。

提案手法

• 本手法は、新しい未観測サンプルに低ランク要因を適用できる柔軟で非パrametricな構造を導入することで、ニストルム法を一般化する。
• クラスラベルなどの事前知識をカーネル分解プロセスに統合し、タスク固有の因子化を可能にする。
• 訓練サンプル数に対して線形時間および空間計算量を維持する閉形式解を用いた低ランク近似を採用する。
• カーネル行列はランドマークポイントのサブセットを用いて分解され、学習されたマッピングを介して要因分解が帰納的に新しい入力に拡張される。
• カーネル関数を低ランクかつ事前知識に基づいてモデル化することで、帰納的推論を可能にする一般化されたニストルム定式化を採用する。
• データ適合性と事前制約のバランスを取る正則化された目的関数の下で要因分解が最適化され、ロバストネスと一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 低ランクカーネル分解を新しい未観測サンプルへの一般化を可能にする帰納的ものに拡張できるか？
• RQ2 クラスラベルなどの補助情報は、低ランクカーネル因子化プロセスにどのように効果的に統合できるか？
• RQ3 一般化されたニストルム法は、大規模学習タスクにおいても線形時間および空間計算量を維持しながら、精度を保つことができるか？
• RQ4 事前知識の統合が、カーネル手法の一般化性能および性能に与える影響は何か？
• RQ5 本手法は、推論型および非教師ありの低ランク分解アプローチと比較して、計算効率および精度の面でどのように差をつけるか？

主な発見

• 提案手法は線形時間および空間計算量を達成しており、大規模データセットでは従来手法と比べて桁違いに高速である。
• 新しいサンプルへの一般化が効果的に実現され、データ到着時に完全な因子分解を再計算する必要がなくなる。
• クラスラベルを事前知識として統合することで、非教師ありまたは推論型のベースラインと比較して、分類タスクにおける性能が顕著に向上する。
• ベンチマークデータセットにおける実験結果から、最先端の手法と比較して優れた効率性と、競争力あるもしくはより優れた精度を示す。
• ランドマークポイントの数が少ない場合でも高い予測精度を維持しており、優れた一般化性能と高いサンプル効率を示している。