[論文レビュー] Regularization Techniques for Learning with Matrices

Sham M. Kakade, Shai Shalev‐Shwartz+1 more|arXiv (Cornell University)|Oct 4, 2009

Sparse and Compressive Sensing Techniques参考文献 25被引用数 4

ひとこと要約

本稿は、強い凸性と滑らかさの双対性を用いた行列に基づく正則化の統一的枠組みを提案する。これにより、マルチタスク学習、マルチクラス分類、カーネル学習における一般化誤差とレグルレーションの境界をより厳密に得ることができる。群正則化とスペクトルノルム（例：ℓ2,1ノルム、核ノルム）が強い凸性を誘導することを示し、より高い効率性と低いサンプル複雑性、および先行研究より鋭い境界を得るアルゴリズムの体系的導出を可能にする。

ABSTRACT

There is growing body of learning problems for which it is natural to organize the parameters into matrix, so as to appropriately regularize the parameters under some matrix norm (in order to impose some more sophisticated prior knowledge). This work describes and analyzes a systematic method for constructing such matrix-based, regularization methods. In particular, we focus on how the underlying statistical properties of a given problem can help us decide which regularization function is appropriate. Our methodology is based on the known duality fact: that a function is strongly convex with respect to some norm if and only if its conjugate function is strongly smooth with respect to the dual norm. This result has already been found to be a key component in deriving and analyzing several learning algorithms. We demonstrate the potential of this framework by deriving novel generalization and regret bounds for multi-task learning, multi-class learning, and kernel learning.

研究の動機と目的

• 学習問題の統計的性質に基づいて、適切な行列正則化関数を体系的に選択するための手法を開発すること。
• 特にマルチタスク、マルチクラス、カーネル学習を対象として、行列パラメータを用いたオンラインおよびバッチ学習アルゴリズムの分析を統一的かつ簡素化すること。
• 行列ノルムにおける強い凸性と強い滑らかさの双対性を活用し、一般化誤差とレグルレーションの境界をより厳密に導出すること。
• 群ノルム（例：ℓ2,1ノルム）とスペクトルノルム（例：核ノルム）が、構造的学習タスクにおける低いサンプル複雑性と高い性能を実現することを示すこと。
• 複数のカーネル学習における既存の境界を簡素化・改善し、基本カーネル数に対して対数的依存性を示すこと。

提案手法

• 強い凸性と強い滑らかさの双対性を用いて、行列正則化学習アルゴリズムの一般レグルレーションと一般化誤差の境界を導出する。
• この双対性をℓ2,1（グループLasso）および核（スペクトル）ノルムなどの行列ノルムに適用し、これらが強い凸性を誘導することを示す。
• これらのノルムを用いて、マルチタスク学習、マルチクラス分類、カーネル学習のためのテンプレートオンラインおよびバッチアルゴリズムを導出する。
• Rademacher複雑度とノルムに基づく正則化を用いて、カーネル学習設定における一般化誤差の境界を設定する。
• 複数のカーネル学習とグループLassoの等価性を確立し、カーネル結合問題へのフレームワークの直接適用を可能にする。
• 強い凸性-滑らかさ双対性から導出された重要な不等式を用いて、異なる学習設定間での証明を統一的かつ簡素化する。

実験結果

リサーチクエスチョン

• RQ1 学習問題の統計的性質に基づいて、どのようにして行列正則化を体系的に設計できるか？
• RQ2 マルチタスクおよびマルチクラス学習において、最適な一般化誤差とレグルレーション境界をもたらす行列ノルム（例：ℓ2,1ノルムや核ノルム）は何か？
• RQ3 強い凸性／滑らかさの双対性を用いることで、従来の手法よりも厳密かつ簡素な境界を複数のカーネル学習に導出できるか？
• RQ4 正則化関数の選択が、構造的学習タスクにおけるサンプル複雑性と性能にどのように影響を与えるか？
• RQ5 このフレームワークは、行列パラメータを用いたオンラインおよびバッチ学習における既存のレグルレーションと一般化誤差の境界を、どの程度簡素化・改善できるか？

主な発見

• 複数のカーネル学習において、一般化誤差境界がO(√(B log k / (γ²n)))に達し、基本カーネル数kに対して対数的依存性を示す。これは、先行研究のO(√(Bk / (γ²n)))依存性と比較して顕著に改善されている。
• マルチクラス学習において、ℓ2,1正則化を用いた提案されたグループパーセプトロンアルゴリズムは、クラス間の共通構造を活用することで、従来手法を上回る性能を示した。
• 分析により、オンラインマルチタスク学習における誤り数が、min_W ∑t lt(W) + O(X∞ ||W||₂,₁ √(log d |I|))で有界であることが示され、共通構造下でのより高いサンプル複雑性の改善が裏付けられた。
• 本フレームワークは、オンラインマルチタスク学習における既存の境界を簡素化・鋭くし、Cavallantiら（2008年）およびAgarwalら（2008年）の結果を上回る。
• 複数のカーネル学習における導出された境界は、Lanckrietら（2004年）およびSrebroとBen-David（2006年）のものよりも鋭く、特にk ≥ nの場合に先行境界が無意味（vacuous）になるのを避ける点で顕著に優れている。
• 本手法により、強い凸性双対性を用いたRademacher複雑度境界の滑らかな導出が可能となり、YingとCampbell（2009年）が用いた複雑なRademacher混沌過程の解析を回避できる。