[論文レビュー] Multi-Task Feature Learning Via Efficient l2,1-Norm Minimization

Jun Liu, Shuiwang Ji+1 more|arXiv (Cornell University)|May 9, 2012

Gaussian Processes and Bayesian Inference参考文献 27被引用数 553

ひとこと要約

本稿では、l2,1-ノルム正則化を用いたマルチタスク特徴抽出のための効率的な最適化手法を提案する。この手法は、タスク間で共有されるスパarsityを促進する。非滑らか問題を2つの滑らかで凸な形に再定式化し、Nesterovの最適な一次順序法により解くことで、解析的に計算可能または線形時間でユークリッド射影が得られるようになり、ベンチマークデータセット上での計算効率が顕著に向上する。

ABSTRACT

The problem of joint feature selection across a group of related tasks has applications in many areas including biomedical informatics and computer vision. We consider the l2,1-norm regularized regression model for joint feature selection from multiple tasks, which can be derived in the probabilistic framework by assuming a suitable prior from the exponential family. One appealing feature of the l2,1-norm regularization is that it encourages multiple predictors to share similar sparsity patterns. However, the resulting optimization problem is challenging to solve due to the non-smoothness of the l2,1-norm regularization. In this paper, we propose to accelerate the computation by reformulating it as two equivalent smooth convex optimization problems which are then solved via the Nesterov's method-an optimal first-order black-box method for smooth convex optimization. A key building block in solving the reformulations is the Euclidean projection. We show that the Euclidean projection for the first reformulation can be analytically computed, while the Euclidean projection for the second one can be computed in linear time. Empirical evaluations on several data sets verify the efficiency of the proposed algorithms.

研究の動機と目的

• 機械学習における複数の関連するタスク間で一括して特徴選択を実現する課題に対処すること。
• マルチタスク回帰における非滑らかl2,1-ノルム正則化が引き起こす計算上の困難を克服すること。
• 大規模マルチタスク学習問題における収束を加速するスケーラブルで効率的な最適化フレームワークを構築すること。
• 滑らかで再定式化された手法により、計算複雑性を低減することで、l2,1-ノルム正則化モデルの実用的導入を可能にすること。

提案手法

• 非滑らかl2,1-ノルム正則化マルチタスク学習問題を、2つの同等の滑らかで凸な最適化問題に再定式化する。
• 滑らかで再定式化された問題を解くために、Nesterovの最適な一次順序法を適用し、高速な収束レートを確保する。
• 最初の再定式化におけるユークリッド射影を解析的に計算し、閉形式での更新を可能にする。
• 2番目の再定式化におけるユークリッド射影を線形時間アルゴリズムで計算し、スケーラビリティを確保する。
• l2,1-ノルムの構造を活用して、複数の予測子間で共有されるスパースパターンを促進する。
• l2,1-ノルムを指数型分布族からの事前分布としての確率的解釈を用いて、モデルの統計的基盤を正当化する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習における非滑らかl2,1-ノルム正則化問題は、滑らか最適化技術を用いて効率的に解けるか？
• RQ2 再定式化された最適化問題におけるユークリッド射影の計算複雑度は何か？ そして、効率的に計算可能か？
• RQ3 本手法は、既存のマルチタスク特徴抽出手法と比較して、収束速度とスケーラビリティにおいて優れているか？
• RQ4 滑らかで再定式化された問題は、元のl2,1-ノルムモデルの共有スパース性を保持できるか？

主な発見

• Nesterovの最適法を滑らかで再定式化された問題に適用することで、従来の一次順序法よりも高速な収束が達成される。
• 最初の再定式化におけるユークリッド射影は閉形式で計算可能であり、効率的な更新が可能である。
• 2番目の再定式化におけるユークリッド射影は線形時間で計算可能であり、大規模問題へのスケーラビリティが保証される。
• 複数のデータセットにおける実験的評価により、計算時間に顕著な高速化が得られるとともに、特徴選択の性能は維持または向上している。