[論文レビュー] Graph-Structured Multi-task Regression and an Efficient Optimization Method for General Fused Lasso

Xi Chen, Se Young Kim+3 more|arXiv (Cornell University)|May 20, 2010

Bone and Joint Diseases被引用数 34

ひとこと要約

本稿では、出力変数間の依存関係をモデル化するためにグラフを活用する構造的マルチタスク回帰手法であるグラフガイドドファズドラッソ（GFlasso）を提案する。この手法は、融合ペナルティを用いて関連するタスクが関連する入力を共有するのを促進する。従来のSOCPやQPアプローチと比較して、収束が速くスケーラビリティに優れた効率的な近接勾配最適化手法を導入し、任意のグラフ構造を持つ出力に対して効果的なスパース学習を可能にする。

ABSTRACT

We consider the problem of learning a structured multi-task regression, where the output consists of multiple responses that are related by a graph and the correlated response variables are dependent on the common inputs in a sparse but synergistic manner. Previous methods such as l1/l2-regularized multi-task regression assume that all of the output variables are equally related to the inputs, although in many real-world problems, outputs are related in a complex manner. In this paper, we propose graph-guided fused lasso (GFlasso) for structured multi-task regression that exploits the graph structure over the output variables. We introduce a novel penalty function based on fusion penalty to encourage highly correlated outputs to share a common set of relevant inputs. In addition, we propose a simple yet efficient proximal-gradient method for optimizing GFlasso that can also be applied to any optimization problems with a convex smooth loss and the general class of fusion penalty defined on arbitrary graph structures. By exploiting the structure of the non-smooth ''fusion penalty'', our method achieves a faster convergence rate than the standard first-order method, sub-gradient method, and is significantly more scalable than the widely adopted second-order cone-programming and quadratic-programming formulations. In addition, we provide an analysis of the consistency property of the GFlasso model. Experimental results not only demonstrate the superiority of GFlasso over the standard lasso but also show the efficiency and scalability of our proximal-gradient method.

研究の動機と目的

• 標準のマルチタスク学習手法が出力間の均一な関係を仮定するという制限を克服し、複雑な現実世界の出力相関を捉えられないこと。
• 出力関係の事前知識をグラフ構造で統合することで、マルチタスク回帰における構造的スパarsityをモデル化すること。
• 任意のグラフ構造を持つ大規模問題にスケーラブルな効率的な最適化アルゴリズムを開発すること。
• 適切な正則性条件の下でGFlassoモデルの理論的一貫性を確立すること。

提案手法

• 標準ラッソと融合ペナルティを組み合わせた新しいペナルティ関数を提案。融合ペナルティは出力関係のグラフによってガイドされ、相関するタスク間でスパースパターンを共有するのを促進する。
• GFlasso目的関数の最適化に近接勾配法を用い、非滑らかな融合ペナルティの構造を活用することで、勾配下降法や標準的一階法よりも収束が速い。
• 非滑らかな融合ペナルティを扱うために双対定式化によるスムージング技術を導入。勾配の効率的計算とリプシッツ定数の推定を可能にする。
• 収束保証を維持しながら大規模問題における計算効率を向上させるパスワイズ最適化戦略を適用。
• 近接勾配法の収束レートの上限をO(1/t²)として導出。これは標準の勾配下降法のO(1/√t)と比較して著しく速い。
• 融合ペナルティの双対表現を用いて問題を滑らかな最適化問題に変換。これにより、標準的一階法による効率的解法が可能になる。

実験結果

リサーチクエスチョン

• RQ1 出力間のグラフ構造的関係を組み込むことで、マルチタスク回帰における関連する入力の同定が向上するか？
• RQ2 単純な鎖状やグリッド構造ではなく、任意のグラフ構造に定義された融合ペナルティを効率的に最適化する方法は何か？
• RQ3 提案された近接勾配法は、ファズドラッソ問題に対してSOCPやQPベースのアプローチと比較して、より速い収束性とスケーラビリティを達成するか？
• RQ4 適切な正則性条件下でGFlassoモデルは一貫性を示すか？ これにより真のスパース構造が標本サイズの増加に伴い正しく回復されるか？
• RQ5 生物学的・神経科学的応用で見られるように、共通の関連する入力を共有する出力の密集した部分グラフを効果的に同定できるか？

主な発見

• 出力が既知のグラフ構造で相関している場合、GFlassoは標準ラッソやℓ₁/ℓ₂マルチタスク回帰と比較して、関連する入力をはるかに効果的に同定する。
• 提案された近接勾配法はO(1/t²)の収束レートを達成し、これは標準の勾配下降法のO(1/√t)と比較して著しく速い。
• SOCPやQP定式化よりもスケーラビリティに優れており、任意のグラフ構造を持つ大規模問題の効率的解法を可能にする。
• 遺伝学的および神経科学的データセットにおける実験結果から、GFlassoはベースライン手法と比較してより正確で生物学的に妥当なスパースパターンを回復することが示された。
• 理論的分析によりGFlassoの一貫性が確認され、正則性条件が満たされれば、標本サイズの増加に伴い真のスパース構造が一貫して回復されることを示した。
• スムージングを用いた双対定式化により、勾配の効率的計算が可能となり、複雑な出力依存性を持つ高次元入力空間に対しても実用的なアルゴリズムとなった。