[論文レビュー] Tree-Guided Group Lasso for Multi-Task Regression with Structured Sparsity

Se Young Kim, Eric P. Xing|arXiv (Cornell University)|Jun 29, 2018

Statistical Methods and Inference被引用数 16

ひとこと要約

本稿では、出力の事前木構造的関係を活用して出力クラスタ全体にわたるスパarsityを強制する、構造的正則化手法であるツリーガイド付きグループラassoを提案する。グループラasso罰則における重複するグループの体系的重み付けスキームを設計することで、バランスの取れたペナルティを実現し、大規模な最適化を効率的に行える。シミュレートデータおよびイーストデータに対して、既存手法と比較して優れた予測精度とスパarsityパターン回復を示した。

ABSTRACT

We consider the problem of learning a sparse multi-task regression, where the structure in the outputs can be represented as a tree with leaf nodes as outputs and internal nodes as clusters of the outputs at multiple granularity. Our goal is to recover the common set of relevant inputs for each output cluster. Assuming that the tree structure is available as prior knowledge, we formulate this problem as a new multi-task regularized regression called tree-guided group lasso. Our structured regularization is based on a grouplasso penalty, where groups are defined with respect to the tree structure. We describe a systematic weighting scheme for the groups in the penalty such that each output variable is penalized in a balanced manner even if the groups overlap. We present an efficient optimization method that can handle a largescale problem. Using simulated and yeast datasets, we demonstrate that our method shows a superior performance in terms of both prediction errors and recovery of true sparsity patterns compared to other methods for multi-task learning.

研究の動機と目的

• 出力の構造的関係を有するマルチタスク回帰を、事前知識としての木構造的知識を学習プロセスに統合することで解決すること。
• 木構造によって定義される出力クラスタリングの複数のレベルでスパarsityを促進する正則化手法を開発すること。
• 木構造的階層における重複するグループに起因する個々の出力のペナルティをバランスよく保つこと。
• 構造的スパarsityを維持したまま、大規模なマルチタスク回帰問題に対する効率的な最適化を可能にすること。
• マルチタスク学習における予測精度と真のスパarsityパターンの回復の両方を向上させること。

提案手法

• 出力の内部ノードによって定義されるグループを用いたグループラasso罰則を用いてマルチタスク回帰を定式化し、葉が個々の出力を表す。
• 重複するグループにおける各出力のペナルティをバランスよく保つための体系的重み付けスキームを導入し、スパarsity誘導における公平性と一貫性を確保する。
• 各出力が複数の階層的グループに属する割合に比例してペナルティが課されるように正則化ペナルティを構築し、深いノードや浅いノードに偏ったペナルティを回避する。
• 木構造的グループラassoの定式化に特化した近接法を活用し、大規模問題を効率的に解く最適化アルゴリズムを開発する。
• 出力関係の事前知識を木構造で統合することで、出力の階層的クラスタリングとクラスタ間の共有特徴選択を可能にする。
• 最適化プロセスは収束性とスケーラビリティを保証し、高次元で大規模なデータセットへの適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 木構造的出力関係を組み込むことで、マルチタスク回帰における予測精度とスパarsityパターン回復が向上するか？
• RQ2 階層的木構造における重複するグループを、特徴選択にバイアスを生じさせない形で公平にペナルティ化する方法は何か？
• RQ3 提案手法のツリーガイド付きグループラassoは、標準のグループラassoや他のマルチタスク学習手法と比較して、予測誤差とスパarsityパターン回復の両面で優れているか？
• RQ4 大規模データセットに対しても、構造的スパarsityを維持したまま効率的にスケーリング可能か？
• RQ5 本手法は、合成データおよび実世界のデータにおいて、真のスパarsityパターンをどの程度正確に回復できるか？

主な発見

• ツリーガイド付きグループラasso手法は、シミュレートデータおよび実際のイーストデータの両方で、ベースライン手法と比較して顕著に低い予測誤差を達成した。
• 本手法は、特に出力間の階層的関係を捉える能力において、真のスパarsityパターンの回復が優れていた。
• 体系的重み付けスキームにより、重複するグループ間でのペナルティのバランスが効果的に保たれ、木構造内の特定のノードに偏ったペナルティを回避した。
• 最適化アルゴリズムは大規模問題を効率的に処理でき、数千の出力を有する高次元データセットへの応用を可能にした。
• イーストデータにおける実験結果から、本手法は生物学的に意味のある出力クラスタに共通する関連する入力特徴を同定していることが確認された。
• 予測性能およびスパarsityパターンの正確性の両面で、標準のグループラassoや他のマルチタスク学習ベースラインを上回った。