[論文レビュー] Graph-Structured Multi-task Regression and an Efficient Optimization Method for General Fused Lasso Manuscript

Xi Chen, Se Young Kim+3 more|arXiv (Cornell University)|Jun 30, 2018

Sparse and Compressive Sensing Techniques参考文献 19被引用数 66

ひとこと要約

本稿では、出力変数のグラフ構造を活用して、相関する出力が関連する入力を共有するよう融合ペナルティを導入する、グラフ誘導型融合lasso（GFlasso）を用いたグラフ構造をもつマルチタスク回帰を提案する。著者らは、収束性とスケーラビリティにおいて標準的一階および二階手法を上回る高速でスケーラブルな近接勾配法を開発した。理論的整合性を維持しながら、構造的マルチタスク学習タスクにおいて優れた性能を発揮する。

ABSTRACT

We consider the problem of learning a structured multi-task regression, where the output consists of multiple responses that are related by a graph and the correlated response variables are dependent on the common inputs in a sparse but synergistic manner. Previous methods such as l1/l2 -regularized multi-task regression assume that all of the output variables are equally related to the inputs, although in many real-world problems, outputs are related in a complex manner. In this paper, we propose graph-guided fused lasso (GFlasso) for structured multi-task regression that exploits the graph structure over the output variables. We introduce a novel penalty function based on fusion penalty to encourage highly correlated outputs to share a common set of relevant inputs. In addition, we propose a simple yet efficient proximal-gradient method for optimizing GFlasso that can also be applied to any optimization problems with a convex smooth loss and the general class of fusion penalty defined on arbitrary graph structures. By exploiting the structure of the non-smooth “fusion penalty”, our method achieves a faster convergence rate than the standard first-order method, sub-gradient method, and is significantly more scalable than the widely adopted second-order cone-programming and quadratic-programming formulations. In addition, we provide an analysis of the consistency property of the GFlasso model. Experimental results not only demonstrate the superiority of GFlasso over the standard lasso but also show the efficiency and scalability of our proximal-gradient method.

研究の動機と目的

• すべての出力と入力の間で一様な関係を仮定する標準的一階・二階マルチタスク回帰の限界を克服し、出力間の複雑で構造的な依存関係をモデル化する。
• 複数の応答変数間のグラフ構造的関係を活用して、入力選択における学習効率とスパarsityを向上させる。
• 任意のグラフ構造に対して一般融合lasso問題を効率的に最適化するアルゴリズムを開発し、スケーラブルな推論を可能にする。
• 適切な条件下でGFlassoモデルの理論的整合性を保証し、高次元設定における信頼できる推定を支援する。
• 実世界のマルチ応答回帰タスクにおいて、構造的融合ペナルティが標準lassoやマルチタスクlassoよりも優れた性能を発揮することを示す。

提案手法

• 相関する出力が類似した入力係数パターンをとるように促進する、グラフ構造に基づいた新規融合ペナルティを提案する。
• 滑らかで凸な損失関数と任意のグラフ上の一般融合ペナルティを組み合わせた凸最適化問題としてGFlassoの目的関数を定式化する。
• 非滑らかで融合ペナルティの構造を活用することで、標準的勾配法や一階手法を上回る収束速度を達成する近接勾配法を設計する。
• 任意の凸滑らか損失関数と任意のグラフトポロジー上の融合ペナルティを持つ問題に適用可能な最適化手法を実現する。
• 融合ペナルティに特化した近接作用素を用いて、各反復における更新を効率的に計算し、計算オーバーヘッドを低減する。
• 線分探索を統合した一階最適化フレームワークに統合することで、収束性を保ちつつスケーラビリティを維持する。

実験結果

リサーチクエスチョン

• RQ1 出力変数間のグラフ構造的関係を組み込むことで、マルチタスク回帰モデルの性能が向上するか？
• RQ2 提案された融合ペナルティは、標準lassoやマルチタスクlassoと比較して、相関する出力間でのスパarsityと入力選択の共有をどのように改善するか？
• RQ3 任意のグラフ上での一般融合lasso問題を効率的に最適化できる近接勾配法を設計できるか？ また、既存の二階および一階手法を上回る性能を発揮できるか？
• RQ4 適切な正則性条件の下でGFlassoモデルは整合性を示すか？ これにより、標本サイズの増加に伴う信頼できる推定が保証されるか？
• RQ5 標準的な二次計画法や二階コーン計画法の定式化と比較して、問題サイズやグラフの複雑さの増加に伴う本手法のスケーリング特性はいかなるものか？

主な発見

• GFlassoモデルは、出力間に相関関係が見られる場合に、標準lassoやマルチタスクlassoよりも優れた性能を発揮する。特に構造的マルチタスク回帰タスクにおいて顕著である。
• 融合ペナルティの構造を活用することで、標準的勾配法や一階手法と比較して、本手法の近接勾配法は著しく高速に収束する。
• 従来の二階コーン計画法や二次計画法の定式化と比較して、本手法ははるかにスケーラブルであり、大規模問題への応用を可能にする。
• 理論的分析により、GFlasso推定量の整合性が確認され、高次元設定における信頼性を裏付ける。
• 実験的結果から、GFlassoは相関する出力間で共通する関連する入力を効果的に同定でき、モデルの解釈性と予測精度の両方を向上させることを示している。
• 最適化フレームワークは一般性を有し、任意の凸滑らか損失関数と任意のグラフ構造を持つ融合lasso問題に適用可能であり、実用的利便性を高めている。