[論文レビュー] Foundations of Coupled Nonlinear Dimensionality Reduction

Dmitry Storcheus, Mehryar Mohri+1 more|arXiv (Cornell University)|Sep 29, 2015

Sparse and Compressive Sensing Techniques参考文献 21被引用数 5

ひとこと要約

本稿は、多様体学習と教師あり予測を統合する枠組みである結合非線形次元削減を導入する。Rademacher複雑度を用いて新たな一般化境界を確立し、$ widetilde{O}( sqrt{ Lambda_{(r)}/m} )$ の上界を示す。ここで $ Lambda_{(r)}$ はカーネル行列のKy-Fan $r$-ノルムを表す。また、低次元多様体とその上での分離関数を同時に学習する構造リスク最小化アルゴリズムを提案する。

ABSTRACT

In this paper we introduce and analyze the learning scenario of \emph{coupled nonlinear dimensionality reduction}, which combines two major steps of machine learning pipeline: projection onto a manifold and subsequent supervised learning. First, we present new generalization bounds for this scenario and, second, we introduce an algorithm that follows from these bounds. The generalization error bound is based on a careful analysis of the empirical Rademacher complexity of the relevant hypothesis set. In particular, we show an upper bound on the Rademacher complexity that is in $\widetilde O(\sqrt{\Lambda_{(r)}/m})$, where $m$ is the sample size and $\Lambda_{(r)}$ the upper bound on the Ky-Fan $r$-norm of the associated kernel matrix. We give both upper and lower bound guarantees in terms of that Ky-Fan $r$-norm, which strongly justifies the definition of our hypothesis set. To the best of our knowledge, these are the first learning guarantees for the problem of coupled dimensionality reduction. Our analysis and learning guarantees further apply to several special cases, such as that of using a fixed kernel with supervised dimensionality reduction or that of unsupervised learning of a kernel for dimensionality reduction followed by a supervised learning algorithm. Based on theoretical analysis, we suggest a structural risk minimization algorithm consisting of the coupled fitting of a low dimensional manifold and a separation function on that manifold.

研究の動機と目的

• 結合非線形次元削減の学習状況を形式化し、分析すること。ここでは多様体への射影と教師あり学習が同時に最適化される。
• この統合学習パイプラインに対する、初めての一般化誤差境界を提供し、理論的理解の空白を埋めること。
• カーネル行列のKy-Fan $r$-ノルムに基づく、仮説集合の選択を正当化する、きつい上界と下界を提示すること。
• 固定カーネルを用いた教師あり次元削減や、非教師ありカーネル学習に続く教師あり予測といった特殊ケースに対しても理論的保証を拡張すること。
• 理論的分析から導かれた、結合多様体と分類器学習における構造リスク最小化を実行する実用的アルゴリズムを導出すること。

提案手法

• 結合次元削減モデルの仮説集合に対して、経験的Rademacher複雑度を用いて一般化境界を導出する。
• カーネル行列のKy-Fan $r$-ノルム $\Lambda_{(r)}$ に基づいてRademacher複雑度を分析し、$\widetilde{O}(\sqrt{\Lambda_{(r)}/m})$ の上界を確立する。
• 仮説集合の定義の妥当性を検証するため、Rademacher複雑度の上界と下界を両方提示する。
• 低次元多様体埋め込みとその上での教師あり分類器の両方を同時に最適化する構造リスク最小化アルゴリズムを提案する。
• 導出された境界を踏まえて、結合多様体と関数空間における正則化された経験的リスクを最小化する学習目的を定式化する。
• 理論的適用可能性を教師ありおよび非教師ありカーネル学習の両設定に保証し、次元削減パイプラインにおける広範な応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非線形次元削減とその後の教師あり学習を統合した機械学習パイプラインの一般化誤差の挙動はいかなるものか？
• RQ2 Rademacher複雑度を用いて、結合次元削減における仮説集合の複雑度をどのように測定・上限付けることができるか？
• RQ3 カーネル行列のKy-Fan $r$-ノルムは、結合学習フレームワークにおける一般化誤差を制御するために果たす役割は何か？
• RQ4 固定カーネルを用いた場合や、非教師ありカーネル学習に続く教師あり予測の場合など、特殊ケースに対しても、結合次元削減の理論的保証を拡張できるか？
• RQ5 一般化境界から出発して、多様体学習と分類を同時に最適化する原理的アルゴリズムをどのように導出できるか？

主な発見

• 本稿は、結合非線形次元削減に対する初めての一般化境界を確立し、Rademacher複雑度の上界が $\widetilde{O}(\sqrt{\Lambda_{(r)}/m})$ であることを示した。ここで $m$ はサンプルサイズ、$\Lambda_{(r)}$ はカーネル行列のKy-Fan $r$-ノルムを表す。
• 著者らはRademacher複雑度に対して上界と下界の両方を提示しており、仮説集合の定義の妥当性を裏付け、$\Lambda_{(r)}$ に基づくそのタイトネスを確認している。
• 理論的枠組みは、固定カーネルを用いた教師あり次元削減や、非教師ありカーネル学習に続く教師あり予測といった特殊ケースにも適用可能である。
• 解析から、低次元多様体とその上での分離関数を同時に学習する、新しい構造リスク最小化アルゴリズムが導出された。
• 導出された境界は情報量が多く、空虚でないことが示され、Ky-Fan $r$-ノルムが結合学習設定におけるカーネル行列の主要な複雑度測度として機能している。
• 結果として、多様体学習と教師あり予測を統合するエンドツーエンドの学習パイプラインの理論的基盤が提供され、より良い一般化制御が可能になった。