[論文レビュー] Structured Sparsity and Generalization

Andreas Maurer, Massimiliano Pontil|arXiv (Cornell University)|Aug 17, 2011

Statistical Methods and Inference参考文献 26被引用数 59

ひとこと要約

本稿では、ヒルバート空間上の有界線形作用素の集合上に定義された、下界畳み込みノルムを介して構造的スパarsityを強制する正則化学習アルゴリズムの一般化に関する、データに依存する一般化境界を提示する。主な貢献は、無限次元設定（例えば、分離可能なヒルバート空間におけるラッソや、可算個のカーネルを用いた複数カーネル学習など）に適用可能な次元に依存しないラデマッハ複雑度境界であり、次元に依存する対数的依存性が通常存在するのとは対照的に、よりタイトで柔軟な一般化保証を可能にする。

ABSTRACT

We present a data dependent generalization bound for a large class of regularized algorithms which implement structured sparsity constraints. The bound can be applied to standard squared-norm regularization, the Lasso, the group Lasso, some versions of the group Lasso with overlapping groups, multiple kernel learning and other regularization schemes. In all these cases competitive results are obtained. A novel feature of our bound is that it can be applied in an infinite dimensional setting such as the Lasso in a separable Hilbert space or multiple kernel learning with a countable number of kernels.

研究の動機と目的

• 構造的スパarsityを強制する広範な正則化学習アルゴリズムに適用可能な、一般的かつデータに依存する一般化境界を構築すること。
• 既存のラデマッハ複雑度境界を、特にラッソや可算カーネル集合を用いた複数カーネル学習に適した無限次元ヒルバート空間へと拡張すること。
• 古典的境界に見られる次元依存の log(d) 要因を排除し、有限の2階モーメント条件の下で次元に依存しない一般化保証を達成すること。
• リッジ回帰、ラッソ、グループラッソ、複数カーネル学習などの既存の境界を、単一の理論的枠組みで統一的かつ一般化すること。

提案手法

• ヒルバート空間 H 上の対称的かつ有界な線形作用素の集合 M 上の下界畳み込みを用いて、構造的スパarsity正則化子を定義する。
• ラデマッハ複雑度の解析を簡素化するため、双対ノルム ‖z‖_M* = sup_{M∈M} ‖Mz‖ を導入する。
• 双対性とモーメント不等式を用いて、経験的ラデマッハ複雑度 R_M(x) の境界を導出。その結果、R_M(x) ≤ (2^{3/2}/n) × √[sup_M ∑_i ‖Mx_i‖²] × (2 + √(ln(∑_M ‖Mx_i‖² / sup_N ∑_j ‖Nx_j‖²))) が得られる。
• M が有限の場合、分布に依存するよりタイトな境界 R_M(X) ≤ (2^{3/2}C / √n) × (2 + √(ln|M|)) を、条件 ‖X‖_M* ≤ C の下で確立する。
• 適切な作用素集合 M を選択することで、ラッソ、グループラッソ、複数カーネル学習、混合ノルム正則化といった特定のアルゴリズムに境界を適用する。
• ガウスおよびラデマッハ・カオスのモーメントバウンドを用いて、経験過程の期待上界を制御し、ヒルバート＝シュミットノルムと ℓ_p/ℓ_{p/2} 三角不等式を活用する。

実験結果

リサーチクエスチョン

• RQ1 構造的スパarsity正則化に適用可能な、一般的かつデータに依存する一般化境界を、次元に依存する log(d) 要因を回避して導出可能か？
• RQ2 ラッソや可算個のカーネルを用いた複数カーネル学習のような無限次元設定に、ラデマッハ複雑度境界を拡張することは可能か？
• RQ3 標準的な正則化スキーム（ラッソ、グループラッソなど）の文脈において、提案された境界は既存の境界と比べてタイトさと適用範囲の点でどのように差をつけるか？
• RQ4 次元に依存しない境界を達成しつつ、構造的スパarsityパターンの内在的複雑性を捉えることは可能か？

主な発見

• 提案された境界は次元に依存せず、分離可能なヒルバート空間におけるラッソや、可算個のカーネルを用いた複数カーネル学習などの無限次元設定に適用可能である。ただし、第二モーメント条件 ∑_M ‖M‖_HS^p < ∞ が満たされている必要がある。
• M が有限の場合、境界 R_M(X) ≤ (2^{3/2}C / √n)(2 + √(ln|M|)) は分布に依存し、従来の境界に見られる log(d) 要因を回避する。
• この境界は、リッジ回帰、ラッソ、グループラッソ、複数カーネル学習といった標準的な正則化スキームについて、既存の結果を回復し、わずかな定数の違いを除いて改善する。
• 境界は、一般に log(d) 要因が避けがたいことと一致しており、d を有効次元 R² = ∑_M ‖M‖_HS^2 に置き換えた場合、下界と一致する。
• この手法により、ヒルバート＝シュミットノルムの p 乗和が有限である限り、可算無限個のカーネルを用いた複数カーネル学習に対しても一般化保証が可能になる。
• 解析により、ラデマッハ複雑度は双対ノルムと作用素ノルムを介して制御可能であり、構造的スパarsityのための統一的枠組みが得られる。