[論文レビュー] Nonparametric sparsity and regularization

Lorenzo Rosasco, Silvia Villa+3 more|arXiv (Cornell University)|Aug 13, 2012

Sparse and Compressive Sensing Techniques参考文献 63被引用数 59

ひとこと要約

本稿では、再生核ヒルバート空間（RKHS）における部分微分を通じて変数の重要度を測定することにより、非線形教師付き学習における変数選択のための新しい非パラメトリックスパースフレームワークを提案する。部分微分に基づくデータ駆動型正則化スキームをプロキシマル手法を用いて構築し、得られる非微分可能な凸最適化問題を解くことで、関連変数の一貫した選択と、最先端手法を上回る優れた経験的性能を達成する。

ABSTRACT

In this work we are interested in the problems of supervised learning and variable selection when the input-output dependence is described by a nonlinear function depending on a few variables. Our goal is to consider a sparse nonparametric model, hence avoiding linear or additive models. The key idea is to measure the importance of each variable in the model by making use of partial derivatives. Based on this intuition we propose a new notion of nonparametric sparsity and a corresponding least squares regularization scheme. Using concepts and results from the theory of reproducing kernel Hilbert spaces and proximal methods, we show that the proposed learning algorithm corresponds to a minimization problem which can be provably solved by an iterative procedure. The consistency properties of the obtained estimator are studied both in terms of prediction and selection performance. An extensive empirical analysis shows that the proposed method performs favorably with respect to the state-of-the-art methods.

研究の動機と目的

• 真の関数がわずかに少数の関連変数に依存する高次元非線形回帰における変数選択を扱う。
• 線形的または加法的仮定に依存しない、部分微分に基づく非パラメトリックスパース測度を構築する。
• RKHS理論とプロキシマル最適化を用いて、安定的かつ計算的に実行可能な正則化スキームを設計する。
• 予測と変数選択の両面で推定量の理論的一貫性を確立する。
• 合成データおよび実世界のデータセットを用いて、最先端の手法と比較して本手法の経験的妥当性を検証する。

提案手法

• 関数のRKHS内における部分微分のL2ノルムに基づく、非パラメトリックスパースの新規な定式化を提案する。
• 訓練点における部分微分の経験的推定値を用いて、データに依存する正則化項を定義する。
• レプレンセーター定理とカーネルベース関数表現を用いて、導出推定量の有界性と安定性をRKHSフレームワークで保証する。
• 正則化最小二乗目的関数から生じる非滑らか凸最適化問題を解くための反復的前向き・後向き分割アルゴリズムを開発する。
• 正則化項の非微分可能性に対処するため、プロキシマル手法を適用し、収束保証を可能にする。
• 濃度不等式とRKHSノルム制御を用いて、導出ノルム推定誤差の有限標本バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 RKHSにおける部分微分は、非線形的かつ非加法的モデルにおいて、変数の重要度を信頼性高く安定して測定できるか？
• RQ2 部分微分ノルムに基づく正則化スキームは、高次元非線形回帰において真の関連変数集合を一貫して特定できるか？
• RQ3 従来のL1正則化や加法的モデルに基づく手法と比較して、予測精度および変数選択性能において本手法はどのように差をつけるか？
• RQ4 予測誤差およびサポート回復の観点から、推定量の理論的一致性はどのような性質を示すか？
• RQ5 反復的プロキシマルアルゴリズムは、保証された収束速度を伴って、信頼性高く解に収束するか？

主な発見

• 提案された推定量は一貫した変数選択を達成する：標本サイズが増加するにつれて、すべての関連変数が回復される確率は1に近づく。
• 本手法は経験的に優れた性能を示し、複数のデータセットにおいて、予測精度およびスパース回復の両面で最先端手法を上回る。
• 理論的分析により、推定された導出ノルムが確率的に真の導出ノルムに収束することが示され、収束速度は標本サイズと正則化パラメータに依存する。
• やや弱い仮定のもとでアルゴリズムは収束し、プロキシマル手法理論とRKHS濃度バウンドを用いて収束速度が確立される。
• 正則化パrameter τn に関する条件下で、選択手順の一貫性が証明される。具体的には、limn→∞ τn = 0 および limn→∞ a(n, τn) = 0 を満たす必要がある。
• 理論的バウンドにより、次元dと標本サイズnの両方に有利にスケーリングされるため、本手法は高次元入力に対して頑健であることが示された。