[論文レビュー] New perspectives on k-support and cluster norms

Andrew M. McDonald, Massimiliano Pontil+1 more|arXiv (Cornell University)|Jan 1, 2016

Sparse and Compressive Sensing Techniques参考文献 47被引用数 33

ひとこと要約

本稿では、2次関数族のパラメータ化された下界として定義される新しい正則化子、ボックスノルムを導入する。k-サポートノルムがこの族に属することを示し、ボックスノルムがその摂動として生じることを示す。著者らは、二乗ボックスノルムの近接作用素を計算するための改善されたアルゴリズムを開発し、ノルムを行列へと拡張してスペクトルk-サポートノルムおよびスペクトルボックスノルムを導入し、数値実験によりスペクトルボックスノルムがクラスターノルムと等価であることを示した。中心化された変種を用いた実験では、行列補完およびマルチタスク学習において最先端の性能を達成した。

ABSTRACT

We study a regularizer which is defined as a parameterized in_mum of quadratics, and which we call the box-norm. We show that the k-support norm, a regularizer proposed by Argyriou et al. (2012) for sparse vector prediction problems, belongs to this family, and the box-norm can be generated as a perturbation of the former. We derive an improved algorithm to compute the proximity operator of the squared box-norm, and we provide a method to compute the norm. We extend the norms to matrices, introducing the spectral k-support norm and spectral box-norm. We note that the spectral box-norm is essentially equivalent to the cluster norm, a multitask learning regularizer introduced by Jacob et al. (2009a), and which in turn can be interpreted as a perturbation of the spectral k-support norm. Centering the norm is important for multitask learning and we also provide a method to use centered versions of the norms as regularizers. Numerical experiments indicate that the spectral k-support and box-norms and their centered variants provide state of the art performance in matrix completion and multitask learning problems respectively.

研究の動機と目的

• 2次関数族の下界として定義される新しい正則化子族、すなわちボックスノルムを、スパースなベクトルおよび行列学習のためのものとして開発すること。
• k-サポートノルム、ボックスノルム、クラスターノルムの間の理論的関係を確立し、ボックスノルムがk-サポートノルムの摂動であることを示すこと。
• ノルムを行列へと拡張し、マルチタスク学習および行列補完のためのスペクトルk-サポートノルムおよびスペクトルボックスノルムを導入すること。
• ボックスノルムおよびそのスペクトル版の近接作用素およびノルム値を効率的に計算するためのアルゴリズムを提供すること。
• 性能を向上させるために、ノルムの中心化された変種を導入し、マルチタスク学習設定での評価を行うこと。

提案手法

• ボックスノルムは、パラメータ化された2次関数族の下界として定義され、k-サポートノルムを一般化する。
• 凸最適化技術を用いて、二乗ボックスノルムの近接作用素を計算するための改善されたアルゴリズムを導出する。
• k-サポートノルムおよびボックスノルムを特異値を介して行列へと拡張し、スペクトルk-サポートノルムおよびスペクトルボックスノルムを導入する。
• スペクトルボックスノルムが数学的にクラスターノルムと等価であることを示した。
• タスク間の平均をゼロに保つために特異値をシフトすることで、ノルムの中心化された変種を構築し、マルチタスク学習における一般化性能を向上させる。
• ノルム値を効率的に計算するための数値的手法を提供し、大規模な学習問題への実用的導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 k-サポートノルムは、2次関数族の下界として定義されるより広範な正則化子族の一部として再解釈可能か？
• RQ2 ボックスノルムとk-サポートノルムの関係は何か？また、ボックスノルムはどのようにしてk-サポートノルムの摂動として生じるのか？
• RQ3 ボックスノルムを自然に行列へと拡張できるか？その結果得られるスペクトルノルムが持つ性質は何か？
• RQ4 スペクトルボックスノルムはクラスターノルムと等価か？この等価性がマルチタスク学習に与える意味は何か？
• RQ5 ボックスノルムおよびスペクトルボックスノルムの中心化された変種は、マルチタスク学習および行列補完タスクの性能をどのように向上させるか？

主な発見

• スペクトルボックスノルムは数学的にクラスターノルムと等価であり、かつて別個のものと見なされていた2つの正則化子の間の新しい理論的リンクを確立した。
• 提案されたアルゴリズムにより、二乗ボックスノルムの近接作用素の計算がより効率的に行えるようになり、計算スケーラビリティが向上した。
• スペクトルk-サポートノルムおよびスペクトルボックスノルムは、行列補完タスクにおいて最先端の性能を達成し、既存のベースラインを上回った。
• スペクトルボックスノルムおよびk-サポートノルムの中心化された変種は、特に少数のサンプルがある状況下で、マルチタスク学習における性能を顕著に向上させた。
• 数値実験により、スペクトルボックスノルムおよびその中心化された変種が、多様なマルチタスク学習および行列補完のベンチマークにおいて強力な経験的結果を示した。