[論文レビュー] Simultaneous and Group-Sparse Multi-Task Learning of Gaussian Graphical Models

Jean Honorio, Dimitris Samaras|arXiv (Cornell University)|Jul 18, 2012

Machine Learning and Algorithms参考文献 67被引用数 3

ひとこと要約

本稿では、複数の関連する精度行列を同時に推定するために、ℓ1,p正則化を用いたグループスパースでマルチタスク学習するガウス graphical モデルのアプローチを提案する。この手法は、ブロック座標降下法を用いて凸部分問題の系列を解き、既知の最適化技術を用いてℓ∞およびℓ2の場合を効率的に処理し、合成データおよび実世界のデータセットにおいて優れた性能を示す。

ABSTRACT

In this paper, we present `1,p multi-task structure learning for Gaussian graphical models. We discuss the uniqueness and boundedness of the optimal solution of the max-imization problem. A block coordinate descent method leads to a provably convergent algorithm that generates a sequence of positive definite solutions. Thus, we reduce the original problem into a sequence of strictly convex `p regularized quadratic minimization subproblems. We further show that this subproblem leads to the continuous quadratic knapsack problem for p = ∞ and to a separable version of the well-known quadratic trust-region problem for p = 2, for which very efficient methods exist. Finally, we show promising results in synthetic experiments as well as in two real-world datasets. 1

研究の動機と目的

• 関連するタスク間で共有される構造的パターンを活用して、複数の関連するガウス graphical モデルを同時に学習する手法を開発すること。
• マルチタスク学習フレームワークにおける最適解の一意性および有界性を保証すること。
• 複雑な最適化問題を計算的に取り扱える厳密に凸な部分問題の系列に簡略化すること。
• 特定のp値（例：ℓ∞およびℓ2）に対して既知の効率的ソルバを活用して、計算効率を向上させること。
• 合成データおよび生物学的・神経画像解析の実世界データセットにおいて、手法の有効性を検証すること。

提案手法

• マルチタスク学習の文脈で、複数の精度行列にわたるグループスパarsityを誘導するためにℓ1,p正則化を用いる。
• 他の精度行列を固定したまま、各タスクの精度行列について反復的に最適化するブロック座標降下法を採用する。
• 各部分問題は、厳密に凸なp正則化付き二次最小化問題に帰着される。
• p = ∞の場合、部分問題は連続的二次ナップサック問題に簡略化され、効率的に解ける。
• p = 2の場合、部分問題は分離可能な二次的信頼領域問題に還元され、高速な解法が可能になる。
• アルゴリズムは証明可能な収束性を有し、反復の全過程で推定された精度行列の正定値性を維持する。

実験結果

リサーチクエスチョン

• RQ1 関連するタスク間で共有される構造を捉えることのできる統一的なマルチタスク学習フレームワークを、ガウス graphical モデルに開発できるか？
• RQ2 ℓ1,p正則化の使用が、一意かつ有界な解を持つ適切に定義された最適化問題をもたらすか？
• RQ3 得られる部分問題は、特定のp値に対して既知の最適化技術を用いて効率的に解けるか？
• RQ4 合成設定において、スパースでグループ構造を持つ精度行列をどれほど正確に回復できるか？
• RQ5 複雑な依存関係を有する実世界データに、この手法は効果的に一般化できるか？

主な発見

• 提案手法は最適解の一意性および有界性を保証し、安定した学習結果をもたらす。
• ブロック座標降下法は正定値解の系列に収束し、推定された精度行列の有効性を維持する。
• p = ∞の場合、部分問題は連続的二次ナップサック問題に簡略化され、計算が効率的に行える。
• p = 2の場合、部分問題は分離可能な二次的信頼領域問題にマッピングされ、高速かつ信頼性の高いソルバが利用可能になる。
• 合成データにおける実験結果から、真のグループスパース構造が正確に回復されていることが示された。
• 2つの実世界データセットにおいても、本手法は優れた性能を発揮し、生物学的および神経画像解析応用における実用的価値を示した。