[論文レビュー] Does generalization performance of $l^q$ regularization learning depend on $q$? A negative example

Shao-Bo Lin, Xu Chen+2 more|arXiv (Cornell University)|Jul 25, 2013

Sparse and Compressive Sensing Techniques参考文献 27被引用数 4

ひとこと要約

本稿は、サンプル依存の仮説空間フレームワークにおける $l^q$-正則化核学習を調査し、広範な核関数のクラスに対して、$0 < q < \infty$ のすべての $l^q$ 評価器がほぼ最適な一般化誤差バインディングを達成することを示している。これは、一般化性能に与える $q$ の選択の影響が最小限であることを示唆しており、$q$ は予測精度を損なわずにスパarsity や計算効率といった非一般化基準に基づいて選択可能であることを意味する。

ABSTRACT

$l^q$-regularization has been demonstrated to be an attractive technique in machine learning and statistical modeling. It attempts to improve the generalization (prediction) capability of a machine (model) through appropriately shrinking its coefficients. The shape of a $l^q$ estimator differs in varying choices of the regularization order $q$. In particular, $l^1$ leads to the LASSO estimate, while $l^{2}$ corresponds to the smooth ridge regression. This makes the order $q$ a potential tuning parameter in applications. To facilitate the use of $l^{q}$-regularization, we intend to seek for a modeling strategy where an elaborative selection on $q$ is avoidable. In this spirit, we place our investigation within a general framework of $l^{q}$-regularized kernel learning under a sample dependent hypothesis space (SDHS). For a designated class of kernel functions, we show that all $l^{q}$ estimators for $0&lt; q &lt; \infty$ attain similar generalization error bounds. These estimated bounds are almost optimal in the sense that up to a logarithmic factor, the upper and lower bounds are asymptotically identical. This finding tentatively reveals that, in some modeling contexts, the choice of $q$ might not have a strong impact in terms of the generalization capability. From this perspective, $q$ can be arbitrarily specified, or specified merely by other no generalization criteria like smoothness, computational complexity, sparsity, etc..

研究の動機と目的

• $l^q$-正則化核学習の一般化性能が $q$ の選択に依存するかどうかを調査すること。
• 一般化誤差を考慮せずに、スパarsity や計算複雑性などの他の基準に基づいて $q$ を選択できるかどうかを特定すること。
• サンプル依存の仮説空間フレームワーク下で、すべての $q \in (0, \infty)$ に対して $l^q$ 評価器の一般化誤差バインディングを確立すること。
• 上界と下界を対比させることで、これらのバインディングが対数要因を除いてほぼ最適であるかどうかを評価すること。

提案手法

• サンプル依存の仮説空間（SDHS）フレームワーク内での $l^q$-正則化核学習の形式的分析。
• 特定の核関数クラスの下で、すべての $q \in (0, \infty)$ に対して $l^q$ 評価器の一般化誤差バインディングの導出。
• 一般化誤差の上界と下界の比較により最適性を評価し、両者には対数要因のみの差異があることを示す。
• 統計的学習理論の理論的道具を用いて、バインディングが対数項を除いて漸近的にタイトであることを確立する。
• バインディングが $q$ に依存せず一様に成り立つことから、$q$ の選択による性能差が顕著でないことを示す。
• 核の構造と SDHS の性質に依存して、正則化の次数 $q$ が学習能力の本質的性質を変えることがないことを示す。

実験結果

リサーチクエスチョン

• RQ1 $l^q$-正則化核学習の一般化性能は、$q$ の値によって顕著に異なるのか？
• RQ2 $q$ の選択を一般化性能から分離でき、スパarsity や計算複雑性などの補助的基準に基づいて選べるのか？
• RQ3 すべての $q \in (0, \infty)$ に対して、$l^q$ 評価器の一般化誤差バインディングはほぼ最適なのか？
• RQ4 SDHS フレームワーク下で、$l^q$ 評価器の一般化誤差の上界と下界はどの程度一致するのか？

主な発見

• 指定された核関数クラスの下で、$0 < q < \infty$ のすべての $l^q$ 評価器が類似した一般化誤差バインディングを達成する。
• 導出された一般化誤差の上界と下界は、対数要因を除いて漸近的に同一であり、近似的に最適であることを示している。
• 一般化性能は $q$ の選択にほとんど依存せず、$q$ はスパarsity や計算コストといった非一般化要因に基づいて選択可能であることを示唆している。
• 理論的枠組みにより、SDHS設定下では $l^q$ 正則化が特定の $q$ を予測能力面で優遇しないことが確認された。
• この文脈では $q$ の選択が一般化誤差に顕著な影響を及ぼさないため、$q$ の選択を簡素化できることが示唆される。
• 結果として、スパarsity を得るための $q=1$ や滑らかさを求めるための $q=2$ といった、計算的・構造的に有利な $q$ 値の使用が、予測精度を損なわずに行えることが支持される。