[論文レビュー] Applications of strong convexity--strong smoothness duality to learning with matrices

Sham M. Kakade, Shai Shalev‐Shwartz+1 more|arXiv (Cornell University)|Oct 4, 2009

Sparse and Compressive Sensing Techniques参考文献 16被引用数 41

ひとこと要約

本稿は、強い凸性と強い滑らかさの双対性の間隔を用いて、機械学習における行列ベースの正則化の体系的枠組みを導入する。共役関数と双対ノルムを活用することで、マルチタスク学習、マルチクラス学習、カーネル学習における新たな一般化誤差とレグルゲーション境界を導出し、統計的問題の性質に基づいた正則化の原理的選択を可能にする。

ABSTRACT

There is growing body of learning problems for which it is natural to organize the parameters into matrix, so as to appropriately regularize the parameters under some matrix norm (in order to impose some more sophisticated prior knowledge). This work describes and analyzes a systematic method for constructing such matrix-based, regularization methods. In particular, we focus on how the underlying statistical properties of a given problem can help us decide which regularization function is appropriate. Our methodology is based on the known duality fact: that a function is strongly convex with respect to some norm if and only if its conjugate function is strongly smooth with respect to the dual norm. This result has already been found to be a key component in deriving and analyzing several learning algorithms. We demonstrate the potential of this framework by deriving novel generalization and regret bounds for multi-task learning, multi-class learning, and kernel learning.

研究の動機と目的

• 学習問題における行列ベースの正則化関数の選択のための体系的メソッドの開発。
• 凸双対性を介して、学習問題の統計的性質と適切な正則化を結びつけること。
• この枠組みを用いて、マルチタスク学習、マルチクラス学習、カーネル学習における一般化誤差とレグルゲーション境界を導出すること。
• 強い凸性と強い滑らかさの双対性が正則化設計をどのように導くかを示すこと。

提案手法

• 関数がノルムに関して強く凸であることは、その共役関数が双対ノルムに関して強く滑らかであることと同値であるという双対性を利用する。
• この双対性を応用して、行列パラメータに特化した正則化関数を構築する。
• 共役関数の滑らかさと凸性の性質を分析することで、一般化誤差とレグルゲーション境界を導出する。
• 行列ノルムを用いて、マルチタスク学習、マルチクラス学習、カーネル学習の文脈で事前知識と構造を符号化する。
• 問題固有の統計的性質と正則化設計の間の原理的リンクを確立する。

実験結果

リサーチクエスチョン

• RQ1 強い凸性と強い滑らかさの双対性を、学習における行列正則化に体系的に応用する方法は何か？
• RQ2 構造的学習問題において、双対性フレームワークから自然に導かれる行列ノルムと正則化関数は何か？
• RQ3 導出された一般化誤差とレグルゲーション境界は、行列ノルムと正則化の選択にどのように依存するか？
• RQ4 このフレームワークは、マルチタスク学習、マルチクラス学習、カーネル学習において、どのように学習性能を向上させるか？

主な発見

• 強い凸性と強い滑らかさの双対性により、行列ベースの正則化関数の原理的構築が可能になる。
• このフレームワークにより、行列の構造を活用することでマルチタスク学習におけるよりタイトな一般化誤差とレグルゲーション境界が得られる。
• 行列ノルムを用いて複雑な事前知識を符号化する新しい正則化関数が導出される。
• 本手法は、マルチクラス学習およびカーネル学習問題における正則化設計を統一的に扱うアプローチを提供する。