[論文レビュー] An L1 Representer Theorem for Multiple-Kernel Regression.

Shayan Aziznejad, Michaël Unser|arXiv (Cornell University)|Nov 2, 2018

Sparse and Compressive Sensing Techniques参考文献 65被引用数 2

ひとこと要約

本稿では、標準的な2次正則化子に代わり、スパarsityを促進する正則化子として一般化された全変動（gTV）ノルムを、複数カーネル回帰（MKR）に提案する。representer定理を確立し、解が適応的配置を持つカーネル展開として表現可能であることを示し、バナッハ空間枠組みにおいて$Ø1$-ペナルティを課した係数による冗長性低減を可能にする。

ABSTRACT

The theory of RKHS provides an elegant framework for supervised learning. It is the foundation of all kernel methods in machine learning. Implicit in its formulation is the use of a quadratic regularizer associated with the underlying inner product which imposes smoothness constraints. In this paper, we consider instead the generalized total-variation (gTV) norm as the sparsity-promoting regularizer. This leads us to propose a new Banach-space framework that justifies the use of generalized LASSO, albeit in a slightly modified version. We prove a representer theorem for multiple-kernel regression (MKR) with gTV regularization. The theorem states that the solutions of MKR have kernel expansions with adaptive positions, while the gTV norm enforces an $\ell_1$ penalty on the coefficients. We discuss the sparsity-promoting effect of the gTV norm which prevents redundancy in the multiple-kernel scenario.

研究の動機と目的

• 2次正則化に依存する伝統的な複数カーネル回帰手法に見られるスパarsityの欠如を是正すること。
• 複数カーネル回帰における一般化全変動（gTV）正則化の理論的枠組みを構築すること。
• スパarsityを向上させるために、バナッハ空間設定下で修正された一般化LASSOの使用を正当化すること。
• カーネル係数に対する$Ø1$-ペナルティを課すことにより、複数カーネルモデルの冗長性を防止すること。
• gTV正則化下での解の構造を特徴付けるrepresenter定理を確立すること。

提案手法

• RKHSにおける標準的な2次正則化子に代わり、スパarsityを促進する一般化全変動（gTV）ノルムを導入する。
• gTV正則化の適用を正当化するためのバナッハ空間枠組みを構築する。
• 解が適応的配置を持つカーネル展開として表現可能であることを示すrepresenter定理を導出する。
• カーネル係数に$Ø1$ペナルティを課してスパarsityを強制し、冗長性を低減する。
• 新しい枠組み内で修正された一般化LASSOを用いて、スパースかつ構造的な解を達成する。
• gTVノルムを用いて係数ベクトルのスパarsityを強制するとともに、柔軟なカーネル配置を可能にする。

実験結果

リサーチクエスチョン

• RQ1 一般化全変動ノルムを用いて、複数カーネル回帰におけるスパarsityを誘導できるか？
• RQ2 gTV正則化は、複数カーネル回帰における解の構造にどのように影響するか？
• RQ3 MKR設定下でのgTV正則化におけるrepresenter定理の形態は何か？
• RQ4 本稿で提案する枠組みは、標準的なカーネル手法と比較して、スパarsityおよび冗長性制御においてどのように異なるか？
• RQ5 複数カーネル学習において、gTVノルムをバナッハ空間枠組み内で正当化できるか？

主な発見

• gTV正則化を施したMKRにおけるrepresenter定理は、解が適応的配置を持つカーネルの線形結合として表現可能であることを示している。
• gTVノルムはカーネル係数に$Ø1$-ペナルティを課し、スパarsityを強制するとともに冗長性を低減する。
• 解の構造はバナッハ空間枠組みによって特徴づけられ、古典的なRKHS理論を拡張する。
• 本稿の新しい枠組み下で、理論的に正当化された修正された一般化LASSOを実現できる。
• gTVによるスパarsity促進効果は、複数カーネル回帰における解釈性と効率性を向上させる。
• 理論的結果は、より良い一般化可能性を有するスパースかつ構造的なカーネル学習の基盤を確立する。